運動皮質における内面音声と音声神経プロテーゼへの影響：細胞

https://www.cell.com/cell/fulltext/S0092-8674(25)00681-6?_returnURL=https%3A%2F%2Flinkinghub.elsevier.com%2Fretrieve%2Fpii%2FS0092867425006816%3Fshowall%3Dtrue

運動皮質における内面音声と音声神経プロテーゼへの影響

ハイライト

•

試行、内面、知覚されたスピーチは、運動皮質で共通の表現を持っています

•

内部音声BCIは、ユーザーエクスペリエンスを向上させた一般的な文章をデコードします

•

プライベートな内なるスピーチの側面は、カウントなどの認知タスク中に解読できます

•

忠実度の高いソリューションは、音声BCIがプライベートな内なる音声を解読するのを防ぐことができます

要約

スピーチ脳とコンピュータのインターフェース（BCI）は、麻痺した人々とのコミュニケーションを回復する可能性を示していますが、プライベートな内なるスピーチを解読する可能性についての議論を促しています。それとは別に、内なるスピーチは、スピーチBCIユーザーにスピーチを物理的に試みるように要求する現在のアプローチを回避する方法である可能性があります。これは疲れるし、コミュニケーションが遅くなる可能性があります。4人の参加者のマルチユニット録音を使用して、内なるスピーチは運動皮質で強力に表現され、想像上の文章をリアルタイムで解読できることがわかりました。内なるスピーチの表現は、スピーチの試みと非常に相関していましたが、両者を区別する神経の「運動意図」次元も特定しました。プライベートな内面音声を解読する可能性を調査し、シーケンスリコールとカウントタスク中に、フリーフォーム内面音声のいくつかの側面を解読できることがわかりました。最後に、音声BCIが意図せずにプライベートな内なる音声を解読するのを防ぐハイファイ戦略を示します。

グラフィック抽象

キーワード

1. 内なるスピーチ
2. 秘密のスピーチ
3. 脳とコンピュータのインターフェース
4. スピーチ神経補綴物
5. 運動皮質

はじめに

脳コンピュータインターフェース（BCI）は、怪我や病気による麻痺した人々の失われた動きやコミュニケーションを回復するための有望な解決策を提供します。¹成功したデモンストレーションは、四頭麻痺の人々が神経信号を使用してコンピュータカーソルを制御できること^{、2、3、4、5、6、7}ロボットアーム、または自分の腕を操作できることを示しました。^8,9、10最近、BCIは手書き¹¹とスピーチの正確なデコードを通じて迅速なコミュニケーションを回復しました。^{12,13、14、15、16}は、代替デバイス（アイトラッキングなど）によって提供される速度を超えています。励みになるのは、最新のデモンストレーションは、筋萎縮性側索硬化症（ALS）の人がオープンエンドのコミュニケーションのために言語神経補綴物を日常的に使用することに成功していることを強調しています。¹⁷

スピーチBCIの急速な進歩を考えると、スピーチ運動皮質から解読できるものの限界を特徴付けることが重要です。研究者と潜在的なユーザーの懸念の1つは、ユーザーが声に出すつもりのない私的な内なるスピーチを解読する可能性です。誰もが内なる認知と言語を関連付けているわけではありませんが、多くの人が「内なる独白」を経験していると報告しています。^18,19,20,21 内面のスピーチ（想像上のスピーチ、内面のスピーチ、秘密のスピーチ、サイレントスピーチ、セルフトーク、スピーチイメージ、内面的な独白、または言葉の思考とも呼ばれます）は、ワーキングメモリ、口頭リハーサル、論理的推論、実行機能、行動制御、動機付けなどの複雑な認知プロセスをサポートするために理論化されています。^{22,23,24,25,26,27,28}サイレントリーディングにも関与しており、多くの人が読書中に聴覚または運動スピーチイメージを呼び起こしたと報告しています。^29,30

音声BCIの翻訳にも現実的な課題が残っています。現在のシステムでは、ユーザーは自分の能力を最大限に発揮して音声を生成しようとする必要があります（「試行」）、これは疲れる可能性があり、麻痺したユーザーには固有の速度制限があります。ユーザーが運動出力を試みずに話すことを想像する内なる音声を解読するBCIは、そのような問題に対処することができます。

神経画像学と電気生理学の両方の研究は、内面音声が物理的に生成された音声と類似した（同一ではない）皮質ネットワークに関与していることを示しており、^{31,32,33は、}音声を解読するために配置された電極が内面音声の解読も可能にも可能になる可能性を提起しています。^{31,34,35,36,37,38,39,40,41,42} 内部音声と生成音声の間の正確な神経の違いは、とらえどころのないままです。^22,29,43,44 電気皮質造影法（ECoG）を使用した神経補綴研究は、内音声は皮質の特定の領域から解読できるが、どの領域がどの領域が関与するかについての結論が異なることを示しました。^41,45,46,47最近では、Wandeltらは、上辺縁回（SMG）の皮質内マイクロ電極配列によって記録された信号からの内部音声デコードを示し、共有された内なる、生み出された、そして知覚されたスピーチ。⁴⁸

ここでは、運動皮質に配置されたマイクロ電極配列を持つ4人のBrainGate2参加者の内面音声の神経表現を研究しました。私たちは、内なるスピーチが堅牢に表現されていることを発見し、大きな語彙（125,000語）から自己ペースの想像文を解読できる概念実証のリアルタイム内なるスピーチBCIを実証しました。また、参加者が内面的なスピーチを使用するように明示的に指示されていないタスク中でも、自由形式の内面的なスピーチの側面を解読できることがわかりました。その神経幾何学を特徴づけることで、神経の「運動意図」次元の助けを借りて2つを区別することができるが、内なるスピーチは、試みスピーチのより弱い変調版であるように見えることがわかりました。したがって、スピーチBCIは、内なるスピーチを高精度に無視するように訓練できることがわかりました。また、内部音声BCI使用中の意図しない出力を防ぐために、内部で話されている「キーワード」を高精度に検出できるシステムも実演し、ユーザーがシステムを「ロック」および「ロック解除」できるようにします。

議論

運動皮質における内言語表現

スピーチは、「スピーチネットワーク」で複数の皮質領域を関与させる複雑な動作です。スピーチ知覚とスピーチ生産領域を分離する伝統的な見解とは異なり、^61,62,63最近の研究では、スピーチ生産と知覚の神経メカニズムが運動領域でも接続され、重複していることが示されています。^64,65,66,67内なるスピーチに関する研究は、試行と内なるスピーチ生成の間の重複メカニズムも示されています。^{31,41,45,46,47,48}しかし、これらの研究は、言語運動皮質の重複の程度と役割について意見が一致しません。

4人の参加者のマイクロ電極配列記録で達成された空間分解能のレベルにより、この研究は、運動皮質の局所的な領域（前中心回）と最も腹側（i6v）領域）があることを示しています。内部音声、サイレントリーディング、および受動的リスニングが堅牢に表現され、試みの比例した縮小版であるように見えます。これは、中央前部回¹³と最も腹部前部回^12,17が音声デコードに最大の信号寄与を示した以前の音声BCI研究と一致しています。

これらの「スピーチホットスポット」領域（エリア55bとi6v）は、言語行動のスペクトルを強く表しており、内面のスピーチ中に運動出力がどのように抑制されるかという疑問を投げかけます。1つの仮説は、試みと内なるスピーチが直交する神経部分空間を占め、^50,51は、タスクに到達することに見られるように、出力-ポテンシットの試みと出力-ヌルの内部音声信号の独立したエンコードを可能にするということです。^52,53,54しかし、私たちの発見は、試みられた内なるスピーチ、さらにはリスニングの神経表現は高度に相関しており、共有された神経空間に存在することを示しています。これらの共有信号は、出力ゲートが発生する可能性のある下流の運動領域で使用される抽象的な感覚運動または聴覚の「目標」またはターゲット信号を表すことができます。あるいは、内なる音声中の弱い変調は、単に運動出力の活性化しきい値に達しないかもしれません。⁵⁵または、試みられた行動のユニークな側面（私たちが特定した運動意図の次元など）は、最近提案されたように、出力にゲート出力に使用される可能性があります。⁶⁸

皮質内音声BCIへの影響

音声神経プロテーゼの最近の進歩は、運動皮質の音声関連領域からの神経録音を介して、プライベートな内面音声がどの程度アクセスできるかについての議論を促しました。実際、研究者と潜在的なユーザーの両方によって提起された懸念は、「精神的なプライバシー」^69,70です。具体的には、音声BCIが「（運動）音声の意図を解読しようとするときに、ユーザーの思考や内なる独白を読み取ることができるかどうか」です。⁷¹ 私たちは、運動意図次元の助けを借りて、スピーチBCIの慎重なデコーダートレーニングが、高い忠実度で内なるスピーチの漏れを防ぐことができることを示しています（ただし、そのような設計なしで高い特異性も実証されています¹⁷）。

内なるスピーチは、これまでスピーチの試みだけに頼っていたスピーチBCIを改善する方法にもなります。この作業では、重度の発話障害を持つ3人のリアルタイムの内発話BCIを実証しました。スピーチの試みと比較して、内話BCIはより少ない労力を必要とし、改善された快適さを提供し、麻痺した人のスピーチの試みを遅らせる生理学的制約（呼吸制御など）を迂回し、スピーチBCIが通常のスピーチに匹敵する速度を達成するための前進を可能にする可能性があります。しかし、内部音声BCIは、内部思考がBCI出力に誤って「漏れる」のを防ぐために、追加の設計上の考慮事項が必要になる場合があります。ユーザーが意図した場合にのみデコードのロックを解除し、高い精度を達成するための簡単なキーワードメカニズムを使用することで、この問題に対処しました。

特に、私たちはまた、眼外運動のみで、音声アーティキュレーター制御（T17）のない無関節症の人の試みと内面のスピーチも評価しました。どちらの条件も観察可能な動きを生み出さなかったが、試されたスピーチはより強く表現され、無関節症でも運動皮質で明確にする意志が維持されていることを示している。これは、ほぼまたは完全にロックインしている個人のスピーチBCIを駆動する有用な行動であり続ける可能性があることを示唆しています。

最後に、私たちは、明示的に指示されていないタスク（シーケンスリコール、カウント、およびプロンプト思考）中でも、内なるスピーチの側面が解読可能であることを実証しました。成人の認知ツールとしての内面のスピーチは、タスクの切り替え、計画、命題的推論、他者についての推論、空間的指向、分類、認知制御、および読書に関与しています。²² これらのさまざまな文脈で、内面のスピーチが運動皮質から広く解読できる程度は不明であり、さらなる研究が必要です。さらに、スピーチと言語が思考にどの程度使用されるかは議論中です。^72,73 潜在的なデコードの範囲は、言語記憶、カウント、または明示的な言語思考（例えば、歌の歌詞を思い出す）などの具体的な精神的戦略に限定される場合があります。プライベートな内なるモノローグは個人によって異なる可能性があり、具体的に解明されない可能性があるため、運動皮質から解読することが困難または不可能になる可能性があります。

研究の限界

運動皮質における神経活動は、4人の参加者で同様の試みと様々な内言語行動をコードすることを実証しましたが、これらの発見が限られたサンプルサイズと認知タスクのための内面音声の個人の関与の潜在的な変動のために、他の人に一般化するかどうかは不明です。スピーチBCIを使用する個人の精神的なプライバシーを確保するためにここに示されている戦略は、最初の調査です。スピーチBCIがより広く使用されるようになるにつれて、追加の対策が必要になるかもしれません。最後に、私たちは、指導された内なるスピーチは、26%から54%のWERを持つ大きな語彙を使用して解読できること、そして自由形式の内なるスピーチのいくつかの側面は、シーケンスリコール、カウント、および促された思考タスクで解読できることを示しました。しかし、自由形式の思考では、完全でわかりやすい文章を正確に解読することは不可能でした。録音技術が向上するにつれて、そうすることは可能かもしれませんが、まだ実証されていません。

リソースの可用性

リードコンタクト

さらなる情報とリソースのリクエストは、リード担当者のErin Kunz（ekunz@stanford.edu）に送信され、履行されます。

材料の入手可能性

この研究は新しい試薬を生成しなかった。

データとコードの可用性

•

この研究の調査結果を再現するために必要なニューラルデータは、公開日時点でDryadのhttps://doi.org/10.5061/dryad.gf1vhhn1jで公開されています。

•

すべてのオリジナルコードはhttps://github.com/nptl-stanford/inner_speechに保管されており、公開日時点で公開されています。

•

この論文で報告されたデータを再分析するために必要な追加情報は、リクエストに応じてリード連絡先から入手できます。

謝辞

参加者のT12、T15、T16、T17、およびそのケアパートナーが、この研究に惜しみなく時間をかけ、貢献してくれたことに感謝します。また、Bからの管理上のサポートにも感謝しています。デイビス、K.ツオウ、S。コサシ、M。マスッド、B。トラバース、そしてD。ロスラー、そして臨床現場の監督のためのスティーブ・マーノフ。この研究は、国防保健局補佐官房からのALSパイロット臨床試験賞（AL220043）、国立難病およびその他のコミュニケーション障害研究所が管理する国立衛生研究所からのニューイノベーター賞（NIH 1DP2DC021055）、グローバルブレインのためのサイモンズコラボレーションからの助成金（872146SPI）、A.P.からのポスドクフェローシップによってサポートされました。ジャンニーニ財団; 退役軍人省研究開発局からの支援 (nos.N2864C、A2295R、およびA4820R）、Wu Tsai Neurosciences Institute、Howard Hughes Medical Institute、Larry and Pamela Garlick、Simons Foundation Collaboration on the Global Brain and NIDCD（nos.U01-DC017844、U01-DC019430、およびK23-DC021297）、Ketterer-Vorwald Neurosciences Interdisciplinary Graduate Fellowship、National Institute of Neurological Disorders and Strokes（NIH DP2NS127291）、Eunice Kennedy Shrver National Institute of Child Health and Human Developmentのポスドクフェローシップ、Blavatnik Family Foundationの大学院生フェローシップ、NSF GRFP。内容は、退役軍人省や米国政府の見解を表すものではありません。注意：調査用デバイス。連邦法により調査用途に制限されています。

著者の貢献

概念化、E.M.K.およびB.A.K.;方法論、E.M.K.、B.A.K.、およびF.R.W.;ソフトウェア、D.A.、S.R.N.N.-T.S.C.、N.、N.H.Y.、B.、B.J.M.K.、およびB.A.K.; 形式分析、B.A.K.、およびF.R.W.; 調査、E.M.M.K.、F.K.、F.N.R.N.C.C.、B.、B.J.J.、P.、N.、N.、および編集、および編集、D.、D.、D.、D.、D.、D.、D.、D.、D.W. 、、

利益の宣言

MGH翻訳研究センターは、Axoft、Neuralink、Neurobionics、Paradromics、Precision Neuro、Synchron、およびReach Neuroと臨床研究支援契約（CRSA）を結んでおり、L.R.H.はコンサルティングインプットを提供しています。L.R.H.は、非営利の支援通信デバイス技術財団（Speak Your Mind Foundation）の理事会の非報酬メンバーです。マス・ジェネラル・ブリガム（MGB）は、インプラント可能な脳とコンピュータのインターフェース・コラボレーション・コミュニティ（iBCI-CC）を招集しています。Paradromics、Synchron、Precision Neuro、Neuralink、Blackrock Neurotechからこれまでに受け取ったものを含む、MGBへの慈善寄付契約は、L.R.H.が努力するiBCI-CCをサポートしています。

S.D.S.は、スタンフォード大学からBlackrock NeurotechとNeuralink Corp.にライセンスされた知的財産の発明者です。彼はソネラの顧問です。彼はまた、Wispr.aiに株式を持っています。C.P.はMeta（Reality Labs）の従業員です。D.M.B.はParadromics Inc.の外科コンサルタントです。D.M.B.とD.B.R.は、Paradromics Inc.の臨床製品に対するConnexus BCI臨床試験の主任研究者です。S.D.S.とD.M.B.は、カリフォルニア大学デイビス校が所有する音声神経プロテーゼに関連する知的財産の発明者であり、ニューロテクノロジーのスタートアップにライセンスを取得しています。

J.M.H.はParadromicsのコンサルタントであり、Enspire DBSの医療諮問委員会に所属し、Maplight Therapeuticsの株主です。彼はRe-EmergeDBSの共同創設者でもあります。彼はまた、スタンフォード大学からブラックロック・ニューロテックとニューラリンク社にライセンスされた知的財産の発明家でもあります。F.R.W.は、スタンフォード大学がBlackrock NeurotechとNeuralink Corp.にライセンスした知的財産の発明家です。

ジェネレーティブAIとAI支援技術の宣言

ChatGPT、o1、o3-mini、およびGitHub CoPilotは、いくつかの図のプロットコードの生成と、コードの文書化の支援に使用されました。LLMで生成されたすべてのコードは、研究者によって検証されました。

STAR★メソッド

実験モデルと研究参加者の詳細

この研究では、T12、T15、T16、およびT17と呼ばれる4人の参加者からのデータが報告されており、全員がインフォームドコンセントを提供し、BrainGate2 Neural Interface Systemパイロット臨床試験（ClinicalTrials.gov Identifier：NCT00912041、2009年6月3日登録）に登録されました。このパイロット臨床試験の承認は、米国食品医薬品局（調査デバイス免除#G090003）、スタンフォード大学（プロトコル#52060）、カリフォルニア大学デービス校、エモリー大学（プロトコル#STUDY00003070）、およびVAプロビデンスヘルスケアシステム（IRB-2011-009）の機関審査委員会によって、治験装置免除（IDE）の下で認められました。T16は、彼女の肖像を含む写真とビデオを公開することに同意した。関連するすべてのガイドラインと規制は厳格に守られました。

左利きの女性であるT12は、データ収集時に68歳で、59歳で緩やかに進行性球根性発性側索硬化症（ALS）と診断されました（研究登録時のALS-FRSスコアは26）。2022年3月、術前の解剖学的および機能的磁気共鳴画像法（MRI）と個別化されたヒトコネクコネトームプロジェクト（HCP）皮質区画化に基づいて、T12の左半球にスパッタイリジウム酸化物（Blackrock Microsystems、ソルトレイクシティ、ユタ州）でコーティングされた4つの64チャンネル、長さ1.5mmのシリコンマイクロ電極アレイが移植されました（詳細はWillett et al.¹²を参照）。2つの配列は、腹側前中枢回のHCP識別領域6v（口腔顔面運動皮質）に配置され、2つは下前頭回（ブロカ領域の一部とされる）のHCP識別領域44に配置されました。データは、移植後の412-995日から報告されています。データ収集の時点で、T12は球根ALSにより8年近くにわたって重度の心不全でした。彼女は手足の一部の使用を維持し、主にライティングボードまたはiPadタブレットを使用してコミュニケーションを取りました。彼女は話そうとしながら発声することができ、主観的に区別可能な母音を出すことができました。しかし、T12が流暢な速度で完全な文章を話そうとしたとき、私たちはほとんどすべての子音を区別するのが難しく、子音や母音を確実に区別できませんでした。

左利きの男性であるT15は、データ収集時に45歳で、40歳でALSと診断されました。2023年7月、術前の解剖学的および機能的磁気共鳴画像法（MRI）とHCP個別皮質区画に基づいて、スプッタリング酸化イリジウム（Blackrock Microsystems、ソルトレイクシティ、ユタ州）でコーティングされた4つの64チャンネル、長さ1.5mmのシリコンマイクロ電極アレイがT15の左半球に移植されました（詳細はCard et al.¹⁷を参照）。2つの配列は、腹部前中枢回のHCP識別領域6v（口腔顔面運動皮質）に、1つはHCP識別領域55bに、もう1つはHCP識別領域（領域4）に配置されました。データは、移植後230-538日から報告されています。T15は上肢と下肢の機能的使用がなく、重度の発性障害（研究登録時にALS-FRSスコアは23）でした。

右利きの女性であるT16は、この研究の時点で52歳で、BrainGate2パイロット臨床試験に登録される約19年前に、橋頭脳卒中による四面麻痺と心筋障害がありました。2023年12月、T16は、個別のHCP皮質区画化によって導かれて、左前中枢回に4つの64チャンネル皮質内マイクロ電極アレイ（ブラックロックマイクロシステムズ、ソルトレイクシティ、ユタ州、電極の長さ1.5mm）を配置しました。HCPが特定したハンドノブ領域（領域6d）に2つ、HCPが特定した腹部前運動皮質（6v）に1つ、HCPが同定した運動前眼フィールド（PEF）と音声関連55bの境界に1つ。インプラントターゲットは、左前中心回のマルチモーダル皮質区画⁴⁹によって導かれました。T16はゆっくりと静かに話すことができたが、発話は限られた顔と口の動きによって制限されていた。彼女は、肩の動きと、ゆっくりとした収縮した手首と指の動きで、上肢の自発的なコントロールが限られていました。彼女は下肢の自発的なコントロールを制限しなかった。T16の感覚は完全に無傷でした。データは、移植後88-377日から報告されています。

右利きの男性であるT17は、ALSと診断されたこの研究の時点で33歳でした。2024年2月、スパッタリングされた酸化イリジウム（Blackrock Microsystems、ソルトレイクシティ、ユタ州）でコーティングされた6つの64チャンネル1.5mmの長さのシリコンマイクロ電極アレイが、個別化されたHCP皮質区画⁴⁹によって導かれて、T17の左前中心回に移植されました。2つはHCPが特定したハンドノブ領域（領域6d）、2つはHCPが識別した腹部前運動皮質（6v）に、2つはHCPが特定した領域55bを対象としています。データ収集時、T17は不完全ロックイン症候群を持っていた。具体的には、T17は無呼吸、四肢麻痺、人工呼吸器依存症です。彼の唯一の意志運動制御は、彼がコミュニケーションに使用する眼外筋です（研究登録時のALS-FRSスコアは0です）。データは、移植後284-287日から報告されています。

研究の調査的性質を考えると、サンプルサイズの考慮事項は行われませんでした。しかし、私たちは参加者間で調査結果を再現することに分析に焦点を当てています。研究の主な包含基準は、参加者の臨床歴と侵襲的な神経インプラントの一致でした。私たちはたまたま性別ごとに2人の参加者を登録しましたが、この研究では、社会経済的地位、人種、民族、性別、またはこれらの要因の組み合わせは制御されませんでした。

方法の詳細

機能的なMRI音声横方向化と配列配置

手術の前に、すべての参加者は、言語と言語のラテラシーゼーション、手術計画、配列配置ターゲティングのための解剖学的および機能的脳イメージングを受けました（配列位置の推定と詳細については、Willett et al.、Card et al.、およびDeo et al.^12,17,75を参照してください）。

神経信号処理

電圧時系列信号は、Neuroplex-Eシステム（Blackrock Microsystems）を使用して記録され、経皮的コネクタに接続されたケーブルを介して送信されました。信号はアナログフィルタリング（0.3 Hzから7.5 kHzのコーナーを持つ4次バターワース）、30 kHz（250 nV解像度）でデジタル化され、デジタルフィルタリングと機能抽出のためにカスタムMATLABまたはPythonソフトウェア（BRAND⁷⁴）に供給されました（詳細は以下を参照）。神経アンサンブル活動の推定に関連する信号を分離するために、⁷⁶電圧時系列は1ms（T15、T17）または4ms（T12、T16）の遅延を使用して各電極で非因果的にデジタルハイパスフィルタリング（250Hzカットオフ）され、線形回帰参照（LRR）⁷⁷が適用されました。電極固有のしきい値とLRRフィルター係数は、2.2で説明されているアクティブインストラクド遅延タスクのように構成された各セッションの開始時に、最初の診断または休憩ブロックから記録されたデータを使用して決定されました。

次に、10msまたは20msのビンで、各電極について神経アンサンブル活動の2つの推定値が計算されました。しきい値の交差は、電圧信号の標準偏差の-3.5または-4.5のいずれかに設定された振幅しきい値をフィルタリングされた電圧時系列が通過した回数を数えることによって計算されました。ビンサイズとしきい値のデフォルトパラメータは、個々の臨床試験サイトのデフォルトで異なります。スパイクバンドパワーは、各タイムビンで観測された電圧の二乗の合計を取ることによって計算されました。しきい値交差率とスパイクバンドパワーは、局所的なスパイク活動の推定値であり、デコード性能と神経集団構造の点でソートされた単一単位活動に匹敵することが示されています。^78,79,80,81 各ブロックについて、各電極内で、セッションの過程で発生する可能性のある神経非定常性（平均発射速度のドリフト）を考慮するために、各サンプルから平均しきい値交差率とスパイクバンドパワーが減算されました。^59,60しきい値交差とスパイクバンドパワーの特徴も、PSTHを除くすべての分析について標準偏差で割ることで正規化されました（図1D）。特徴値が大きい電極は、集団レベルの結果に過度に影響を与えなかった。

データ収集装置

デジタル信号処理と機能抽出は、専用コンピュータで実行されました。2024年12月以前のT12セッションでは、Simulink Real-timeがデータ処理に使用され、MATLABのPsychophysics Toolbox⁸²がタスクソフトウェアの実装に使用されました。追加のWindowsコンピュータ制御タスクの開始と停止とNeuroplex-Eシステムとのインターフェース。12月から始まるT12セッション、T15、T16、およびT17では、BRAND^{74を使用して}、モジュール式のPythonベースのニューラルデータ処理およびタスクソフトウェアを実装しました。

すべてのデータ収集セッションの概要については、表S3を参照してください。

「内面音声、知覚音声、および無音読解は、腹側および中央前回で表される」方法

刺激ワードの選択

運動皮質における言語行動の表現を調査するために、重複しない音素を持つ単音節の英語の単語の小さなセットを選択しました。限られた単語数は、研究セッションの時間の制約と、各単語の十分な平均神経表現を取得し、統計分析を実行するために繰り返しの必要性のために必要でした。重複しない音素と類似した期間からなる単語を選択しました（表S2を参照）。そのため、区別可能性はタイミングではなく音素の内容に基づいています。一般的な英語の単語は、参加者が不発症の発症前に発音をよくリハーサルし、ナンセンスな言葉や珍しい単語よりも正確な発音計画を持つことができるように選択されました。さらに、特定の単語は、アーティキュレータスペースで最大限に分離できるように選択されました。単語間で同じ位置にある子音音素は、少なくとも1つの特徴（調音の場所、方法、発声）によって異なり、調音の場所（声門を除く）、方法、発声のタイプはすべて表現されました。母音空間全体で母音もサンプリングされ、単語をさらに分離するために複雑さを高めるために二重母音が含まれていました。

孤立した口頭行動指示-遅延タスク

「孤立した」言葉の行動を調査する各調査セッション（各言葉の行動は独自のブロックで個別にテストされました）で、参加者は指示された遅延タスクで各言葉の行動を実行しました。参加者が話そうとしたり、話したりすることを想像したりする「アクティブ」条件では、タスクは「遅延」期間と実行期間、または「行く」期間で構成されていました。遅延期間中、テキストキューが赤い四角の上に表示され、動作が実行されないことが示されました。四角形が緑色に変わり、テキストの合図が消えると、参加者は希望する言葉の動作を始めました。「受動的」条件（サイレントリーディングまたはリスニング）では、トライアルデザインは、テキストが表示される（サイレントリーディング用）またはオーディオファイルが話されている単語の録音を再生する（リスニング用）ゴー期間のみで構成され、その後、参加者がトライアル間のベースライン静止状態に戻るためのトライアル間隔が続きます。試験は行動ごとに個々の実験「ブロック」にグループ化され、各行動のいくつかのブロックが研究セッションを通じて交互に分けられました。特定の言葉による行動の各試験期間の正確な期間は、個々の参加者の快適さと注意力のレベルに基づいて決定されました。行動別の試行のタイミングと総数は、表S4に示されています。

ナイスベベイズの分類

オフライン分類の結果（図1Eと1Fで報告）は、次の方法論を使用して生成されました。まず、高周波ノイズを減らすために、60msガウスカーネルを使用して、連結されたビンのしきい値交差率とスパイクバンドパワー機能を滑らかにしました。次に、ネストされた10倍のクロスバリデーション戦略を実行して、デコードのための500msのアクティビティウィンドウの最適化された開始時間を見つけました。これは、行動と参加者間の神経変調のタイミングのばらつきにより、各行動と各参加者配列について別々に行われました（図1Dに説明）。例えば、T16の試みスピーチの神経変調は、ゴーキュー開始後2〜4秒の間にピークに達するのに対し、彼女の模倣と内なるスピーチ状態は、キュー開始後ずっと早くピークに達する。ウィンドウの開始時間をオーバーフィットしてデコード精度を上向きに偏らせないように、ウィンドウ最適化にネストされた10倍のクロスバリデーション戦略を使用しました（図S6）。

図S6 STARメソッドに関連するネストされた10倍のクロスバリデーションウィンドウの最適化手順

外側の折り目（図S6の行）ごとに、ウィンドウ開始時間は、内側の10倍のクロスバリデーションを使用してトレーニングデータで最適化され、各可能な開始時間のデコード精度を推定しました（Willett et al.⁸³で説明されているように、ガウスのNaive Bayes分類器を使用）。その後、最もパフォーマンスの高い開始時間が選択され、外側の折り畳みのテストセットに適用され、開始時間の選択に使用されたデータでデコード性能が評価されないようにしました。次に、各折り目のテストセット評価成功ベクトルを連結して、精度と信頼区間を計算しました。これらは図1Eで報告されています。各フォールドで同じ開始時間が選択されていない場合、デコード結果は異なるウィンドウ間で集約される可能性があることに注意してください。信頼区間は、予測クラスがすべてのクロス検証予測に対して正しいかどうかを示すブール配列に適用される二項分布のクロッパー・ピアソン法を使用して計算されました。信頼区間の下限が確率値14.3%を超える場合、平均デコード精度は「有意」と見なされました。図2の追加分析で使用するために、各参加者配列と動作の外側の折り目全体で最も一般的な最適ウィンドウを保存しました。これらの値は表 S5 に示されていますが、有意なデコードのない配列とビヘイの組み合わせは除きます。ガウスのナイーブベイズ分類器を選んだのは、強力なニューラルチューニングを効果的に実証した簡単な方法だからです。しかし、より高度な方法では、分類精度を向上させる可能性があります。

アーティキュレーションチューニングの持続時間のコントロール

音素やアーティキュレーションの内容ではなく、単に単語の持続時間（「アーティキュレーションの長さ」）のためのニューラルチューニングは、重要なデコードパフォーマンスをもたらす可能性があります。これを制御するために、デコードに使用されるのと同じ神経活動ウィンドウを使用して、アーティキュレーティック長さへのチューニングを評価しました（2.3）。アーティキュラリーの長さが神経活動に強い影響を与える場合、アーティキュラリーの長さに大きな違いがある単語は、より明確な神経活動パターンを呼び起こすはずだと推論しました。私たちは、ペアのアーティキュレーティックの長さの違いと神経距離の間の統計的に有意な線形関係をテストすることによってこれを評価しました。各単語のアーティキュレーション長は、テキスト読み上げ（TTS）モデル（AWS Polly aws-cli/2.22.29、表S2）によって生成された各単語のオーディオ持続時間を使用して推定されました。単語のペア間の神経状態空間におけるユークリッド距離は、表S5にリストされているウィンドウのWillett et al.⁸³で記述されたクロスバリデート距離推定器を使用して計算されました。各配列と挙動の有意性を評価するために、通常最小二乗（OLS）線形回帰を使用して、ニューラル距離の予測因子としてのアーティキュレータ長差をモデル化しました（インターセプト項を含む）。モデル係数がゼロと有意に異なっているかどうかを評価するために、二尾仮説テストが行われました（アルファ= 0.05）（図2Bと2C）。

同じOLS分析を使用して、すべての配列と動作にわたってデコード精度とアーティキュレータ長チューニングの間に有意な関係が存在するかどうかを評価しました（図2D）。デコード精度は、2.3で見つかった最適なウィンドウの動作および配列ごとのモードについて計算されました。

さらに、デコード性能は、上記の500ミリ秒の時間ウィンドウとは対照的に、より短い360ミリ秒の時間ウィンドウ（図S1E）を使用して評価され、ウィンドウが短すぎて短い単語の無音期間が含まれている場合でも、結果が保持されていることをテストしました。2.3で説明されているのと同じデコードと有意性テストの方法が使用された。

「運動皮質における音声の試行の縮小版としての内面音声と認識音声」の方法

図2では、分離された言語行動タスクデータをさらに分析しました。ビンのしきい値交差率とスパイクバンドパワーフィーチャは、60msのガウスカーネルで平滑化され、図1Eで行われたデコード最適化スイープに基づいて、各動作に選択された500msウィンドウ内で平均化されました（正確なウィンドウについては表S5を参照）。このプロセスは、各配列、動作、単語、および試行の128 x 1の特徴ベクトルをもたらし、以下に説明するようにさらに分析しました。これらの特徴ベクトルはfw,iという表記で表されます。ここで、iは試行をインデックスし、wは単語をインデックスします。

相互検証された相関関係評価指標

個々の単語（図2A）または行動全体（図2B）間の相関を推定する前に、まず各行動内のすべての単語の平均特徴ベクトルを減算し、平均減算の特徴ベクトルが生成されました。̂𝑓𝑤,𝑖=𝑓𝑤,𝑖−1𝐾⁢∑𝑤,𝑖𝑓𝑤,𝑖、ここでKは、すべての単語にわたるすべての試行の合計数です。これらのベクトル̂𝑓𝑤,𝑖その後、Willett et al.⁸³で詳細に説明されているクロスバリデレーション方法を使用して、単語ペア間の相関関係を推定するために使用されました。83 このバイアス低減推定器は、特に神経変調が弱い場合、結果の値を1より大きく（または-1未満）にすることができます。1を超える（または-1未満の値）は、真の相関関係が1（または-1）に近い証拠として解釈する必要があります。

相互検証された推定器を使用する動機は、相関のサンプル推定値がゼロに偏っていることです。これを見るために、𝑓𝑎=1𝐾⁢∑𝑖̂𝑓𝑤=𝑎,𝑖（単語aの平均特徴ベクトル、ここでKは試行回数）と𝑓𝑏=1𝐾⁢∑𝑖̂𝑓𝑤=𝑏,𝑖.その後、サンプルの相関関係は次のように書くことができます。(𝑓𝑎−̅𝑓𝑎)·(𝑓𝑏−̅𝑓𝑏)∥𝑓𝑎−̅𝑓𝑎∥⁢∥𝑓𝑏−̅𝑓𝑏∥は、分母の大きさ項がノイズによって膨らむため、観測ノイズの存在下でゼロに偏っています。相関のクロスバリデーション推定器は、バイアスを減らすためにクロスバリデーションを使用してマグニチュード項を計算します。

個々の単語ペアではなく、行動全体の相関関係を計算するために（図2B）、まず、7つの単語すべてに対する神経変調の1つの試行を含む「行動」ベクトルを作成しました。つまり、トライアルiの行動ベクトルは次のように定義されました。𝑏𝑖=[̂𝑓1,𝑖;̂𝑓2,𝑖;...̂𝑓7,𝑖].その後、相互検証された相関推定器を、関心のある2つの行動からこれらの（128∗7）x 1行動ベクトルに直接適用して、単一の相関値を生成しました。この値は、7つの単語すべてにわたる神経変調が、これら2つの行動の間にどれほど似ているかを示しています。図1Eに示されたデコード分析に基づいて、神経変調が有意にデコードできない配列と動作をこの分析から除外したことに注意してください。

正規化された神経距離

図2Cでは、Willett et al.⁸³で説明されているクロスバリデート距離推定器を使用して、各行動条件内のすべての単語ペア間の神経状態空間の平均ユークリッド距離を個別に推定しました。各参加者内で、行動と配列間の単語表現の相対スケールを直接比較するために、試行された発声条件の平均距離で割って距離を正規化しました。

主要コンポーネント分析の視覚化

試音と内音の神経幾何学をよりよく視覚化するために、主成分分析（PCA）によって決定された上位3つの主成分のデータの投影をプロットしました。まず、単語と行動ごとに、神経活動は時間平均化され、試行全体で平均化され、128 x 1の表現ベクトルが得られました（各64電極配列）。つまり、上記の表記に従って、各単語の特徴ベクトルfwwasは、各単語のすべての試行を平均化して計算されます。𝑓𝑤=1𝑁⁢∑𝑖𝑓𝑤,𝑖.試みたスピーチ行動の7つの単語ベクトルで構成された128 x 7行列の列にPCAを合わせます。次に、各参加者の発声、模倣、および模範的な内なるスピーチ条件から、上位3つの主要コンポーネントによって作成された3次元空間に7つの単語ベクトルすべてを投影し、プロットしました。内なる発話状態は、図2Dに示すように、最大の平均神経距離に基づいて選択され、試みの発話に正規化されました。近くの単語を線でつなげて「単語リング」を形成し、各単語の相対的な位置をより視覚化しました（行は動作間で一貫して描かれ、色付けされました）、ビューポイントを回転させて、表示されている3つの単語リング間の関係を最もよく明らかにしました。

「自己ペースの内面的なスピーチのリアルタイムデコード」の方法

セッションデザイン

リアルタイムのセルフペースの内なるスピーチデコードは、セッションt12.2023.11.28、t15.2024.03.03、t16.2024.04.29で50語の語彙について、セッションt15.2024.12.15、t16.2024.12.18、t15.2025.025.01.05で評価されました（図3で報告されています）。各セッションは「診断」または「休憩」ブロックのいずれかで始まり、T12とT16のセッション全体を通して使用されるオンラインLRRのしきい値とフィルターを計算するために使用されます。T15の場合、フィルターとLRRパラメータは、すべての実験ブロックの後に再計算されました。

次に、リアルタイムデコーダーをアクティブにしていない「オープンループ」文のブロック（1ブロックあたり40〜50文の1-5ブロック）をトレーニングデータとして収集しました。50語の語彙セッションでは、各文ブロックが2回収集されました。1回は参加者が内面的なスピーチを行い、もう1回はスピーチを試みました。125,000語の語彙セッションでは、参加者が内面的なスピーチを行うトレーニング文のみが収集されました。その後、その日に収集された内部のスピーチトレーニングブロックと、以前に収集されたスピーチの試みデータを使用して、デコーダーをトレーニングしました（表S7を参照）。デコードとトレーニング方法は、以前に報告されたものと同じです。^12,17 RNNアーキテクチャには、各データセットに固有の入力レイヤーが含まれており、内部のスピーチパフォーマンスに悪影響を与えることなく、以前のセッションからの音声データをトレーニングに含めることができます。50語の語彙セッションの日では、同じ日からのスピーチブロックを試みて、オンラインの内部スピーチデコーダーをトレーニングするために使用されませんでした。T15のモデルがオンライン再トレーニングを採用しているため、^17,84は、リアルタイムでデコードされた文章でさえ、50語と125,000語の両方の語彙評価ブロックを含むセッション全体を通してモデルを継続的に再訓練することに関与していたことに注意してください。T16の125,000語の語彙デコーダーは、モデルを再訓練するための基本的な真実としてキューの文章が使用されるオンライントレーニングも利用しましたが、それらの文章がオンラインでデコードされた後に限られました。しかし、T12とT16の50語の語彙デコーダーはオンライン再訓練を利用しませんでした。トレーニングデータの量と種類は、個々のデコーダごとに表S7で説明されています。

最初のデコーダートレーニングの後、ローリングzスコアリングアルゴリズムがトレーニング中に発生した可能性のある非定常性を適切に説明できるように、予備的なクローズドループブロックを収集しました。T15では、これらの追加ブロックはトレーニングデータとしても機能しました。Card et al.とFan et al.^17,84 T16では、125,000語の語彙評価ブロックに対してのみオンライン再トレーニングがありました。キューされた文は、モデルを再訓練するための根拠の真実として使用されましたが、それらの文がオンラインでデコードされた後にのみ使用されました。T12 にはオンライン再トレーニングがなかった。最後に、閉ループ評価ブロックが収集されました。50語の語彙セッションでは、この評価セットはMoses et al.¹⁴の50の文章で構成されており、Willett et al.とCard et al.^12,17の評価にも使用されています。125,000語の語彙評価ブロックでは、Willett et al.とCard et al.^12,17の以前の評価手順と同様に、Switchboardコーパスからランダムに選択された文を使用しました。トレーニングブロックのいずれの評価文は表示されませんでした。

参加者の内なるスピーチ行動戦略

リアルタイムの内面音声デコードでは、セクション2.2と表S1で説明されている孤立した言語行動実験でテストされた3つの内面音声行動の中から、参加者が最も一貫して実行できると感じた内面音声の好みの形式を選択できるようにしました。内面音声BCIを使用する場合、T12は運動的内面音声、T16は一人称聴覚内面音声、T15はt15.2024.03.03の50語評価で運動内面音声を実行しました。しかし、大規模な語彙評価セッションt15.2025.12.15の参加者T15は、最初に運動的な内面的なスピーチを行うように提示され、その後、運動的な内部的なスピーチと想像上のリスニングのハイブリッド戦略を使用したことが報告されました。具体的には、彼はアーティキュレーターを動かして、有名な俳優の声を出す言葉と音を出すことを想像していました。一貫性を保つために、次のセッション t15.2025.01.05 で同じ戦略を実行するように指示しました。

語彙と文章の選択

50語の語彙評価セッションでは、すべての内なるスピーチ文がMoses et al.¹⁴で最初に公開された50語の語彙から構築され、同じ評価文セットも使用されました。トレーニングセットと評価セットの間に重複する文はありませんでした。以前に収集された内部スピーチデータは、Willett et al.とCard et al^12,17で説明されているように、大規模な語彙Switchboardコーパスから取得されました。

125,000語の語彙評価セッションに使用された文セットは、Switchboardコーパスから取られ、語彙はCMU発音辞書から取られました。Willett et al.¹²で説明されているように、トレーニングセットと評価セットの間に重複する文はありませんでした。以前に収集されたスピーチの試みデータは、トレーニングで使用された文章を補足するために使用されたも、スイッチボードコーパスから取得されました。参加者 T15 では、以前の個人的なスピーチ使用から正しく解読された文章 BCI もトレーニングを補完するために使用されました。各セッションで使用された評価文の数は、t15.2024.12.15（15）、t16.2024.12.18（29）、t15.2025.01.05（25）でした。

リアルタイムのデコーダートレーニングデータ

内なるスピーチのためのオンラインデコーダーのトレーニングを支援するために、以前に収集したスピーチの試みデータ（発声または模倣）も取り入れました。RNNアーキテクチャには、Willett et al.¹²で説明されているようにゼロからトレーニングされた、含まれているセッションごとに個別の入力変換レイヤーが含まれていました。リアルタイムで評価されたモデルをトレーニングするために使用された文の総数とタイプは、以下で説明します。T15のモデルがオンライン再トレーニングを採用しているため、^17,84は、リアルタイムでデコードされた文章でさえ、50語と125,000語の両方の語彙評価ブロックを含むセッション全体を通してモデルを継続的に再訓練することに関与していたことに注意してください。T16の125,000語の語彙デコーダーは、モデルを再訓練するための基本的な真実としてキューの文章が使用されるオンライントレーニングも利用しましたが、それらの文章がオンラインでデコードされた後に限られました。しかし、T12とT16の50語の語彙デコーダーはオンライン再訓練を利用しませんでした。トレーニングデータの量と種類は、個々のデコーダごとに表S7で説明されています。

RNN

内なるスピーチによって誘発された神経活動を音素確率の時系列に変換するために、Willett et al.¹²で説明されているように、5層の積み重ねられたゲート再帰単位RNNを使用しました。T12のRNNパラメータはWillett et al.¹²の結果に基づいて決定され、T15についてはCard et al.¹⁷のT16では、模倣音声用に最適化されたパラメータが使用されました。地上真理タイミングラベルなしでモデルを訓練するために（参加者が理解可能な音声を生成できないことを考えると）、接続性時間分類（CTC）損失を使用しました。また、モデルの正規化を支援するために、2種類の人工ノイズを追加しました。トレーニング方法の詳細については、Willett et al.¹²を参照してください。

言語モデル

リアルタイムとオフラインの両方の分析のために、nグラム言語モデル（LM）を使用して、RNN出力からの単語シーケンスをデコードしました。まず、OpenWebText2 corpus.⁸⁶を使用してKaldi⁸⁵でn-gram LMを構築しました。英語の文字と限られた句読点のみを保持するようにテキストを再処理しました。次に、Kaldiを使用して、CMU発音辞書（http://www.speech.cs.cmu.edu/cgi-bin/cmudict）（125,000語）またはMoses et al.¹⁴の50語の語彙を使用してnグラムLMを構築しました。得られたLMは、加重有限状態トランスデューサとして表され、⁸⁷これにより、CTCラベルのシーケンスを候補文にリアルタイムでマッピングできます。これは、Willett et al.¹²で詳述されているのと同じ手順に従いました。さらに、T15のオンライン音声デコードでは、トランスフォーマーLM⁸⁸を使用して、3回目のパスで候補文を再スコアし、各文の試行の最後にデコード精度をさらに向上させました。このために、私たちは公開されている事前訓練されたOPT LM.⁸⁹を使用しました。言語モデルパラメータの選択と推論の詳細については、Willett et al.とCard et al.^12,17を参照してください。

ワードエラー率

単語エラー率（WER）を使用してデコード性能を評価しました。これは、デコードされた単語シーケンスとターゲットプロンプト文の間の編集距離として定義されます。つまり、シーケンスを正確に一致させるために必要な挿入、削除、および置換の数です。エラーの合計数が元のプロンプトの単語数を超えると、WER は 100% を超えることができます。

報告されたすべてのエラー率は、多くの独立した文で計算された集合的なWERです。これを計算するために、すべての文のエラーの合計数を合計し、対応する参照文の単語の合計数で割った。この方法は、文レベルの平均に不均衡な影響を与える可能性のある非常に短い文の過重を避けることができます。WERの信頼区間は、個々の試験でのブートストラップ再サンプリングを使用して推定され、10,000の再サンプリングされたデータセットにわたって集計WERを再計算しました。

偶然のパフォーマンスを推定するために、デコーダ出力に関してグランドトゥルースラベルをランダムに順列させ、デコーダ出力が正しいターゲット文に対応しなくなったようにしました。合計 WER は、各シャッフルセット (10,000 回) のすべての評価文にわたって計算されました。チャンスレベルは、このシャッフル分布からのブートストラップされた95%信頼区間の下限として定義されました。偶然のパフォーマンスを推定するこの方法は、デコーダの出力とターゲット文の間に有意な関係が存在するかどうかをテストするだけで、最適な推測によって達成できるパフォーマンスよりも悪い100%ワードエラー率を超えるチャンスレベルをもたらす可能性があることに注意してください（たとえば、何も出力しない）。これは、シャッフルはデコーダーの出力がターゲットに関連しているかどうかのみを評価するためです。たとえば、デコーダーが正しい文章を5回繰り返し出力した場合、単語のエラー率は400%になります（出力がターゲットと一致するためには、余分な単語をすべて削除する必要があるため）、チャンスレベルはさらに高くなります（シャッフルでは、繰り返される単語だけでなく、ほぼすべての単語を削除または変更する必要があるため）。

「連続リコールタスクによって誘発された指示されていない内面のスピーチは、i6vから解読できる」の方法

精神戦略の指示のない上肢運動タスク

3つのタスクは、上肢運動タスクの実行のために、言語的または非言語的短期記憶を可変的に引き出しるように設計されました。認知のための内なるスピーチの表現は、スピーチ-運動領域から解読可能であるという仮説を立てました。一連の指示された遅延タスクでは、上肢の動きの指示のシーケンスがキューされ、その後、ゴー期間中に実行されました。外出中に視覚的なシーケンスキューを削除すると、キューされた動きシーケンスを実行するために短期記憶の使用が強制されました。すべてのタスクは、どのような精神的戦略を採用するかについて明確な指示なしに、参加者に上肢の運動タスクとして説明されました。3要素の矢印タスクは、4つの方向（↑→↓←）のいずれかを指す3つの矢印のシーケンスと「何もしない」キューで構成されていました。可能なすべてのシーケンスが使用され、65の条件が生成されました。セッション時間の制約により、T16では2つの方向（↑、→）のみを使用したこれらの条件のサブセットが使用されました。T12は、表示された矢印の方向にジョイスティックを順番に動かし、シーケンス位置の間の中央に戻るように指示されました。単一要素の矢印のタスクは、単一の移動方向のみがキューされたことを除いて同じでした。このタスクは、セッション時間の制約により、T16 では実行されませんでした。3要素の線のタスクは、参加者が描画によって再現するように指示された線分の画像で合図されました。表示された画像は、開始点と3つの目標の動きを示す3つの線分を示しました。音声が聞こえた後、画像は削除され、参加者は以前に表示された画像を再現しようとしました。ゴー期間の後、T12がペン先を開始位置に戻すための1.5秒の復帰期間がありました。T12は彼女の腕と手のある程度のコントロールを保持していたため、グラウンドトゥルースジョイスティックとペン先の軌跡が記録されました（7.1.4を参照）。麻痺の程度が高かったため、T16はこれらのタスクのために手の動きを試みることしかできませんでした。参加者固有のタスクパラメータと試行回数は、表S4に報告されています。

指導された精神戦略による上肢運動タスク

指示された言語記憶と視覚記憶上肢運動タスクでは、同じタスクデザインが使用されましたが、遅延と移動期間のメンタル戦略については異なる指示がありました。キューは、上（↑）または右（→）を指す3つの矢印のシーケンスで構成されていました。移動期間中、矢印は削除され、参加者は3要素の線と同様の矢印の方向に一連の線分を描くように指示されました。ペン先の軌跡は、リコールの正確性を評価するために、描画中に記録されました。口頭記憶タスクでは、参加者は、キューの矢印シーケンスを短期的に記憶するための精神的な戦略として、内なるスピーチを使用するように指示されました。視覚記憶のタスクでは、参加者は視覚的な短期記憶を使用し、矢印の方向に関する内面的なスピーチを抑制するように指示されました。参加者は、タスクに慣れ、それぞれのメンタル戦略を確実に実践できると報告するまで、練習する時間を与えられました。参加者固有のタスクパラメータと試行回数は、表S4に報告されています。

類似の音声シーケンスのリコールタスクを試みた

先に説明した口頭記憶タスクは、T12が同じ方向シーケンスで提示されたが、録音された音声キューを介して提示されたスピーキングタスクと比較されました。行動指導は、指示を話そうとすることでした。セッション時間が限られているため、T16は3つの方向のシーケンスではなく、単一の方向（「上」または「右」のいずれか）で構成されるより小さな条件セットを実行し、手がかりはテキストとして提示されました。メンタル戦略については、T12は、音声キューの指示シーケンスを自然に思い出して話す方法を変えないように指示されました。参加者固有のタスクパラメータと試行回数は、表S4に報告されています。

手の動きの追跡

ジョイスティックの動き（3要素矢印、単一要素矢印）を必要とするタスクでは、T12の手の動きはLogitech Extreme 3D Proゲーミングジョイスティックを使用して記録されました。描画タスク（3要素線、内面スピーチ、内面音声なし）の場合、T12は15インチLCDライティングタブレット（ERUW Shenzhen Lei Rui Technology Co.、Ltd）にスタイラスを使用して描画するように指示されました。ブロック間の線が消去されました。開始位置は、各ブロックの前にタブレットにXを描くことで示されました。Optitrack v120 Trioは、スタイラスと筆記板の3次元位置を追跡するために使用されました。修正されたOptitrack Hand Rigid Bodies Marker Setの6つの赤外線反射マーカーは、カスタム3Dプリントマウントを使用してスタイラスの背面に取り付けられました。ライティングプレーンを推定するために、Optitrackマーカーベースを使用してOptitrackカメラに面したライティングタブレットの2つの隣接する側面に6つの追加の赤外線反射マーカーが取り付けられました。スタイラスと文字面の両方が、Motiveを使用して記録されたすべての赤外線マーカーの3次元座標を使用して、カスタムリジッドボディとしてリアルタイムで記録されました。トラックパッドのスタイラスチップの軌道は、スタイラスの位置と向き、および2D書き込み面を使用して推定されました。毎回のサンプルで、スタイラスの硬質体は四元として表されました。先端の位置は、測定された先端の位置で基準スタイラスの四元数を差し引くことによって、記録された四元から推定されました。筆記面は、タブレットマーカーから3つのポイントを選択することから推定されました。最後に、筆記面の2次元座標内のスタイラス先端の位置は、筆記面の法線ベクトルに沿ってスタイラス四元を回転させることによって推定されました。

推測されたスタイラス先端の軌跡を使用して、シーケンスのリコール精度を評価しました。個々の試験ペンの先端の軌跡を視覚的に評価し、指示された手がかりと比較した。口頭および視覚記憶のタスク中に、T12によるエラーはゼロでした。

彼女の描画能力を制限するより高いレベルの麻痺のために、T16で地面の真実の運動活動を集めることができませんでした。

バイナリデコードを使用して、位置ごとのシーケンスエンコーディングを評価する

しきい値交差率は、準備活動を分離するためのゴーキューの2秒前のウィンドウで合計され、各試験とマイクロ電極配列に64の長さのベクトルが生成されました。個々の位置のデコード性は、単一の位置だけで異なる2つのシーケンスを比較することによって推定されました。T16では、ゴーキューの直後の0.75秒のウィンドウが使用されました。1つのシーケンス位置のみで移動方向の神経符号化を評価するために、バイナリLDAデコーダ⁹⁰は、1つの位置だけで異なるシーケンスのペアごとに適合しました。シーケンスの他の要素を一定に保つことで、個々の位置のデコード性能を評価することは、すべての可能なコンテキストを一緒に分類するデコーダーのパフォーマンスを人為的に低下させる可能性のあるシーケンスコンテキストの潜在的な交絡効果を減らすのに役立ちます。バイナリデコーダは、各位置で可能なシーケンス要素の数が異なるタスク間のパフォーマンスを比較するために、条件のペアを分類するのに適していました。オーバーフィッティングを防ぐために、5倍のクロスバリデーションが使用されました。各シーケンス位置のボックスプロットは、その位置で異なるすべての可能なペアにわたるデコード精度の分布を示しています（図4）。

ブートストラップによる信頼区間の推定

各シーケンス位置でのデコード性能の信頼区間は、デコーダ予測のリサンプリングによって計算されました。各デコーダーについて、クロス検証された予測は置換で再サンプリングされました。特定のシーケンス位置のすべてのデコーダから再サンプリングされた予測は、位置ごとのデコード精度を推定するために結合されました。これは、位置ごとのデコード精度の分布を推定するために10,000回繰り返されました。有意性は、2.5パーセンタイルを取り、チャンスレベルのデコード精度（0.5）の帰無仮説と比較することによって評価されました。

指示された口頭と視覚的な記憶のタスクのデコード精度のペア向上

シーケンスリコールに言語または視覚記憶を使用する明示的な指示の効果の重要性を評価するために、指示された精神戦略のみが異なるペアのデコーダーのデコード精度の増加の分布を位置ごとに推定しました。各デコーダーについて、クロス検証された予測は、デコーダごとの再サンプリング精度を推定するために、置換で再サンプリングされました。次に、指示された精神戦略でのみ異なるデータのペアのデコード精度を減算して、口頭と視覚のメンタル戦略を使用する指示によるデコード精度の増加を計算しました。最後に、これを10000回繰り返して、各位置のデコード精度の増加の分布を推定しました。有意性は、0.025番目の分位数を取り、デコード精度が増加していないという帰無仮説と比較することによって評価されました。

クロスタスク位置デコード

手の運動タスクにおけるシーケンス表現が本当に内面のスピーチによるものかどうかを評価するために、内面のスピーチが使用されるときに、スピーチシーケンスタスクで訓練されたデコーダが手の運動タスクに一般化できるかどうかをテストしました。LDAデコーダは、トレーニングとテストデータが異なるタスクからのものであったことを除けば、5.2と同様に適合しました。

「カウントタスク中に記録された神経活動は、増加する数字のシーケンスに解読できる」方法

指示されていない内なるスピーチを自然に関与させる可能性のある非スピーチタスクをさらに探求するために、参加者が内なるスピーチを使用してターゲットを順次カウントし、この内なるスピーチは、指示された試みのスピーチを解読するように訓練されたRNNによって解読できるという仮説で、結合カウントタスクを完了するよう参加者に依頼しました。このタスクは、実験セッションt15.2024.12.15とt16.2024.12.18でT15とT16で実施されました。

タスクの説明

私たちは、結合的視覚的検索パラダイムに似た視覚的刺激を設計しました。⁹¹ 神経データが記録されている間、10×10の色付き形状のグリッドの画像が参加者に提示されました。9つの色覚異常に優しい色と6つの異なる図形のセットから2つの図形と2つの色がランダムに選択され、画像ごとに4つの異なるオブジェクトが生成されました（図5A）。画像の上で、参加者は1つの形と色の組み合わせのすべての出現を数えるように求められました。そのうち合計で10〜20の出現がありました。グリッド内のターゲット以外のオブジェクトが視覚的な気晴らしとして機能し、それによって参加者がターゲットアイテムを正確に集計するために内部スピーチシーケンシャルカウント戦略に頼ることを奨励するという仮説を立てました。参加者はボタンを押してカウントフェーズの終了を知らせ、その後、レポートエポックへの移行をトリガーし、その間に最後にカウントされた数字を話そうとしました。その後、もう一度ボタンを押した後、試験は確認の時代に進み、参加者は正しい最終カウント（はい/いいえ）を言ったかどうかを尋ねられました。

大語彙内話文タスクコントロール

数字のシーケンスの増加が偶然にデコードされ、偽の正の回帰傾斜をもたらすという帰無仮説をテストするために、私たちは、もっともらしいヌル分布を生成するために、指示された内話大語彙文のトレーニングデータからの試行で同じ数字-単語のデコード分析を行いました。結合カウント試行と文試行の期間の違いにより、3つの文試行をランダムに組み合わせて、カウント試行の平均期間と一致する対照試行を作成しました。その後、同じオフラインデコードと回帰分析（同じRNNと言語モデルの使用を含む）を実行しました。チャンススロープの分布を生成するために、Kステッチされた文の試行の1,000回の再サンプリングを実行し（Kは各参加者のカウント試行回数を表し、試行は再サンプリングごとに異なるステッチされました）と、結果の傾きのヒストグラムをプロットしました。これらは、カウントタスク分析の回帰線からの傾きと比較されました（図6Gと6H）。

言葉と自伝的な思考の促し

自由な形式の内面的なスピーチをさらに探求するために、私たちは参加者にさまざまな思考パターンに従事するように求めました。参加者は、口頭での思考（具体的な単語のシーケンスなど）のいずれかに従事するようにテキストを介して促されました。「頭に浮かぶ最初の曲の歌詞について考えてください。」）または自伝的な考えに従事する（例：「あなたの毎日の朝のルーチンについて考えてください」）。すべてのプロンプトの全文を図S5に示します。すべての試行は自己ペースで実施され、参加者は必要なだけ時間をかけて思考プロンプトを完了させることができました。具体的なメンタル戦略に関する指示は与えられませんでした。各プロンプトは10回提示された「心をクリアする」を除いて1回提示されました。すべてのプロンプトカテゴリがインターリーブされました。

私たちは、参加者が口頭での思考プロンプトの間に内なるスピーチに従事し、その後、指示された内なるスピーチで訓練されたRNNによって解読できるという仮説を立てました。私たちは、口頭での思考プロンプト中に解読された単語の数が「あなたの心をクリアする」トライアル中よりも多いと仮説を立てました。これは、自由形式の自然主義的な内なるスピーチが、指示された内なるスピーチで訓練されたスピーチBCIによって解読できることを示しています。

また、自伝的な思考プロンプトも含めました。参加者は、口頭での思考とは異なる他の形式の思考（視覚的なイメージなど）に従事する可能性のために選択されました。参加者は、自伝的な思考のプロンプト中に内面的なスピーチに従事することを避けるように明示的に指示されていないため、参加者は内面的なスピーチを使用した可能性があります（たとえば、内部的に口頭で説明することで「毎日の朝のルーチンについて考える」というプロンプトを達成しました）。エピソード記憶や感覚イメージ（視覚、聴覚、嗅覚など）などの他の形態の思考に従事することによって、自伝的なプロンプトを達成することも可能です。したがって、私たちは、口頭思考中に解読された単語の数は、自伝的なプロンプト中に解読された単語の数以上（ただし、それ以下ではない）であると仮説を立てました。

試験ごとに解読された単語の数を評価するために、分析がオフラインで実行されたことを除いて、上記のセクションで説明したのと同じ大語彙RNNと言語モデルが使用されました。デコードされたテキストが参加者の考えを代表するかどうかの不確実性と、精神的なプライバシーの懸念から、このタスクのデコーダー出力を原稿に含めないことを選択しました。カテゴリごとにデコードされた単語数の95%の信頼区間は、10,000回の試行のブートストラップリサンプリングによって計算されました。

デコードされた単語数の違いが試行期間の違いによるものではないことを確認するために、タスクは自己ペースであるため、キュータイプ（図S5C）（試行のブートストラップリサンプリング10,000回によって計算）で試行期間の平均と95%の信頼区間もプロットします。

「運動皮質には、意図を表す神経次元が含まれており、意図的な音声と内なる音声を区別するのに役立ちます」

「孤立した」言語行動実験（セクション3）では、多数の行動を探求することができましたが、ブロック間の違いは、マイクロ電極配列の記録で発生することが知られている偽の神経非定常性によって引き起こされる可能性があるため、行動間の神経の特徴の平均の違いを評価することはできませんでした。^59,60 試みられたスピーチと内なるスピーチの神経表現の間に違いがあるかどうかを評価するために（これは、デコーダーがそれらを区別するための有用な手がかりになる可能性があります）、試みされたスピーチ、内なるスピーチ、およびリスニング条件がランダムにインターリーブされたフォローアップタスクを実行しました実験ブロック内。試行がブロック内でインターリーブされている場合、ブロックごとの平均減算を実行して時間の発火率のドリフトを除去すると、動作間の平均差が維持されます。

インターリーブされた口頭行動指示-遅延タスク

このタスクには、同じ実験ブロック内でランダムにインターリーブされた3つの行動が含まれていました（発声の試み、運動的な内なるスピーチ、およびT12のためのリスニング、発声されたスピーチの試み、3人称聴覚内なるスピーチ、T15のためのリスニング、模倣されたスピーチの試み、一人称聴覚の内なるスピーチ、およびT16のためのリスニング、スピーチの試み、3人称聴覚内なるスピーチ、およびT17のリスニング）。参加者固有の試験数は表S4に報告されています。

プリンシパルコンポーネント分析の視覚化

内射と射射の神経の神経幾何学をさらに比較するために、主成分分析（PCA）によって決定された上位3の主成分のデータの投影をプロットしました。まず、単語と行動ごとに、神経活動は時間平均化され、試行全体で平均化され、128 x 1の表現ベクトルが得られました（各64電極配列）。14の単語行動条件（7単語x2の動作）で構成された128 x 14マトリックスの列にPCAを適合させます。次に、上位3つの主成分によって作成された3次元空間に、14の平均単語ベクトルすべてを投影してプロットしました。近くの単語を線でつなげて、各行動の中で「単語の輪」を形成して、各単語の相対的な位置をより視覚化し（行は行動全体で一貫して描かれ、色付けされました）、視点を回転させて、輪間の共有構造と輪間の分離が観察できる角度を明らかにしました。

行動内および行動間の交差検証されたユークリッド神経距離

図6Eでは、ウィレットらで説明されている方法に従って、行動内の21語のペア（「内なるスピーチ内」と「試みられたスピーチ内」バー）と行動にわたる7つの一致する単語ペア（「運動意図の次元」バー）間の神経状態空間の平均ユークリッド距離を推定しました。⁸³クロスビーブは、行動間の平均神経機能の変化の大きさを推定します（これらは一緒にニューラルステート空間の「運動意図次元」を構成します）。一方、行動内距離は、単語によって呼び出される神経変調のサイズを推定します。信頼区間（95%）は、ポイントが正規分布していると仮定して、平均行動内距離（21ポイント）と行動横断距離（7ポイント）について推定されました。

モーターインテント寸法の定義と除去

図6A-6Dで視覚化された試行と内部音声の単語リングで観察したオフセットシフトを定量化するために、試行音声と内部音声条件の重心をつなぐベクトルの方向として定義された「運動意図次元」を操作しました。

まず、各行動における個々の単語の繰り返しを平均化しました。

させる：

●

𝑥𝑖⁢𝑠𝑗,𝑤単語条件w（withw=1,7）の内なるスピーチ（i.s.）条件のj番目の試行からの特徴ベクトルを示します。

●

𝑥𝑎⁢𝑠𝑖,𝑤..）条件のith試行からの特徴ベクトルを示します。

𝑥𝑖⁢𝑠𝑗,𝑤そして𝑥𝑎⁢𝑠𝑖,𝑤次元128 x 1を持ち、128はニューラルフィーチャの数です（64チャンネルアレイごとに64のしきい値交差フィーチャーと64スパイクバンドパワーフィーチャー）。各動作について、すべての試行とすべてのワード条件を使用して重心を推定しました。形式的には、内なるスピーチと試みのスピーチ条件の重心は次のように与えられます。

𝑐𝑖⁢𝑠=17⁢𝐾𝑖⁢𝑠⁢∑7𝑤=1∑𝐾𝑖⁢𝑠𝑗=1𝑥𝑖⁢𝑠𝑗,𝑤and𝑐𝑎⁢𝑠=17⁢𝐾𝑎⁢𝑠⁢∑7𝑤=1∑𝐾𝑎⁢𝑠𝑖=1𝑥𝑎⁢𝑠𝑖,𝑤

ここで、Ki⁢sとKa⁢sは、それぞれ内なるスピーチと試みのスピーチ条件の試行回数を表しています。

運動意図次元は、試音と内音の重心の間の正規化されたベクトル差として定義されます。

𝑣𝑚⁢𝑜⁢𝑡⁢𝑜⁢𝑟−𝑖⁢𝑛⁢𝑡⁢𝑒⁢𝑛⁢𝑡=𝑐𝑎⁢𝑠−𝑐𝑖⁢𝑠||𝑐𝑎⁢𝑠−𝑐𝑖⁢𝑠||

この方向ベクトルは、単語のリングが内なるスピーチから試みのスピーチにシフトしているように見える軸を捉えます（図6A-6D）。

神経データから運動意図次元の影響を取り除くには、各元の特徴ベクトルから運動意図次元への投影を差し引くだけです。直交tovm⁢o⁢t⁢o⁢r−i⁢n⁢t⁢e⁢n⁢tである残差ベクトルは、次のように与えられます。

𝑥𝑟⁢𝑒⁢𝑠=𝑥−(𝑥·𝑣𝑚⁢𝑜⁢𝑡⁢𝑜⁢𝑟−𝑖⁢𝑛⁢𝑡⁢𝑒⁢𝑛⁢𝑡)⁢𝑣𝑚⁢𝑜⁢𝑡⁢𝑜⁢𝑟−𝑖⁢𝑛⁢𝑡⁢𝑒⁢𝑛⁢𝑡

「簡単な戦略は、プライベートな内なるスピーチがスピーチBCIによって解読されるのを強力に防ぐことができます」

試行と内なるスピーチのトレーニングとテストセット

自己ペースの文章の文脈で、試みと内なるスピーチの関係をさらに調査するために、同じ文セットで構成される試みと内なるスピーチの両方のデータセットを収集しました。次に、行動間で同一の文章のトレーニング/テスト分割を使用して、オフラインでデコーダーを評価しました。すべての文章は50語の語彙から構成されています。データ収集中の中断により文が削除された場合、他の動作の対応する文も削除されました。データ収集中の中断は、試験の削除を正当化するために、咳の発作、参加者のケアの必要性、部屋にいる人による中断、またはタスクコンピュータの音を隠す大きな音（つまり、通過する列車から）で構成されていました。これらはすべて、参加者が特定の試験中にタスクを完全に実行できなかったと考えています。

オフラインデコード評価

試されたスピーチと内なるスピーチの間のデコードパフォーマンスを直接比較するために（図3E）、T12、T15、T16の50語の内なるスピーチデコード評価日に収集された自己ペースの50語の文章のみを使用してオフラインモデルをトレーニングしました。試みと内なるスピーチのデータセットについてそれぞれ10のモデルシードをトレーニングし、対応する行動のテストセットで各モデルを評価し、試みと内なるスピーチについて直接比較可能なパフォーマンス数をもたらしました。テストセットは、各参加者のために集められた最後の30の文章で構成されていました。

次に、自己ペースの文章の文脈で、試みと内なるスピーチの間の共有ニューラルコードの範囲をさらに評価するために、クロスデコードのパフォーマンスを評価しました（つまり、試みスピーチで訓練されたデコーダーが内なるスピーチをどれだけうまく解読できるか）。内部音声テストセットで試行したモデルを評価することによってこれを行いました。すべてのオフライン分析のRNNハイパーパラメータは、以前の作業から取得されました。^12,17

ベースライン（チャンスレベル）の単語エラー率を推定するために、RNNが目標の出力と無関係な文を生成した場合に予想されるもの-デコードされた文を対応する根拠の真実文に対してシャッフルしました。このシャッフルは、各シナリオの10種ごとに1,000回繰り返されました。（1）試行スピーチのみで訓練され、テストされました。（2）内面スピーチのみでトレーニングされ、テストされました。（3）スピーチ未遂でトレーニングされましたが、内面スピーチでテストされました。すべてのシナリオで、実際の単語エラー率の信頼区間は、チャンスレベルの推定値よりも大幅に低かった。

「イメージの沈黙」と「イメージのナイーブ」のトレーニング戦略

私たちは、音声BCIのRNNデコーダーのための2つのトレーニング戦略を定義しました。これは、神経活動を音素確率のシーケンスにデコードします。以前の研究で一般的に使用されていた「イメージナイーブ」戦略は、対応する音素で、試みの音声文からの神経活動の試験にラベルを付けます。対照的に、私たちが提案した「イメージサイレント」戦略には、試行データと内部音声データの両方が組み込まれています。このアプローチでは、試みされたスピーチからの試練はまだその音素によってラベル付けされ、内なるスピーチからの試練は沈黙トークン「SIL」のみでラベル付けされます。

トレーニング戦略によるパフォーマンスの解読

イメージサイレンスとイメージナイーブのトレーニング戦略のパフォーマンスを評価するために、まず、試行した音声評価試験で各方法でトレーニングされたRNNのワードエラー率を測定しました（目標出力、図7A）。この分析は、セクション4.7で説明されているのと同じ手順に従った。次に、各方法で訓練されたRNNが誤って内なる音声トライアル（つまり、出力デコードを避けるべきトライアル、図7B）を誤ってデコードする頻度を評価しました。ここでは、RNNによって「SIL」サイレンストークン以外のトークンが生成された任意の試行は失敗と見なされました。 95%の信頼区間は、10のモデルシードのそれぞれに1,000のリサンプリングが行われたWERのセクション4.7で説明されている同様のブートストラップ方式で計算されました。これらの10,000サンプルは、信頼区間（2.5〜97.5パーセンタイル）の計算に使用されました。

ロジットの相関関係

デコーダー出力に対する「画像沈黙」トレーニング戦略の効果を評価するために、私たちは、ペアの試みと内部スピーチトライアルのためにRNNデコーダーによって与えられた音素確率（logits）を分析しました。私たちは、イメージナイーの場合、デコーダーは、試行と内面の話の間に高い相関関係があるため、一致した試行と内面の音声試験について、誤って同様の確率プロファイルを出力する可能性があると推論しました。対照的に、画像サイレンス戦略は、理想的には類似した出力が少ないはずです。これを定量化するために、最初にデコーダ出力をタイムワープして、ペアの未遂トライアルとインナースピーチ試行を一致させ（これにより、スピーキングレートの自然な変動を考慮します）、次にタイムワープロジット時系列間の相関関係（ピアソンr）を計算しました。

試行と内側のスピーチトライアル（似たような内容を持っているかもしれないが、異なるスピーチ速度とトライアル間の典型的な行動のバリエーションのために時間的にずれている）を一致させるために、動的タイムワーピングを使用しました。⁹²これを行うには、pythonダイナミックタイムワーピングパッケージ⁹²を「symmetric2」ステップパターンと100msサイズの傾斜したバンドウィンドウを使用しました。これにより、柔軟な時間アライメントが可能になり、変動を制限し、タイムワープが極端になりすぎてノイズにフィットしすぎないようにします。

対応する試みと内なるスピーチロジットの時系列をダイナミックタイムワープで整列した後、各文の相関関係（ピアソンのr）を個別に計算しました。各文について、39の音素ロジットすべての相関関係を計算し、それらを平均して単一の値を得ました。この手順は、30のテスト文すべてと、トレーニング戦略ごとに10のデコーダーシードで繰り返されました。図7Cのバーの高さは、30文すべてと10種の平均値を表しています。チャンスのレベルを推定するために、各行動内で文をシャッフルし、相関するときに文がペアになされなくなったようにしました。シャッフルは10個のシードごとに1,000回繰り返され、結果として得られる分布の平均が確率値（破線）として使用されました。信頼区間（95%）は、ブートストラップ再サンプリングによって得られ、その後、再サンプリングされた分布（10,000リサンプリング）の平均相関関係を再計算します。

キーワード検出による内面音声BCIのリアルタイム評価

内部音声BCIを使用するときに意図しないデコーダー出力を防ぐために、特別なキーワードが検出された場合にのみデコーダー出力をオンにする「キーワード」戦略を調査しました。キーワード検出の特異性を高めるために、めったに話されない音声的に複雑なキーワード（「chittychittybangbang」）が選ばれました。T12は50語の語彙から文章を提示し、ランダムに選択された文章の前に∗記号を追加することを除いて、上記の指示された指示遅延タスクデザインを使用して、運動的な内なるスピーチ戦略を使用して内部でそれらを話すように指示されました。この∗記号は、キューされた文を内部で話す前に、内部でキーワードを話すための手がかりでした。

前述した音声デコードパイプラインを使用しました。RNNデコーダーは、キーワードの有無にかかわらずすべての試行を含む、音素のシーケンスを予測するように訓練されました。キーワードキューで始まる試行は、試行の開始に付けられたキーワードの音素シーケンスでラベル付けされました。例えば、「∗私は良い音楽が必要です」は['CH'、'IH','T','IY','CH','IH','T','IY','B','AE','NG','B','AE','NG','SIL','AY','SIL','N','IY','D','SIL','G','UH','D','SIL',','M','Y','UW','Z','IH',','SIL']とラベル付けされました。

他の研究セッションから最近収集されたスピーチデータも、他の研究目的のタスクを含むRNNトレーニングを支援するために含まれていました（詳細は表S7を参照）。

カスタマイズされた言語モデルが構築されました（セクション4.6で説明されているように）、50語の語彙と選択したキーワード「chittychittybangbang」が含まれています。トレーニングコーパスには、元の50語の語彙コーパスと、すべての文の前面に「chittychittybangbang」が追加された複製版の両方が含まれていました。これにより、発話の開始時にキーワードを検出する可能性に関する言語モデルの統計は、キーワードを予測しない可能性と等しく、トレーニングと評価のキューセットの分布と一致しました。最後に、言語モデルで「chittychittybangbang」という単語が検出されない限り、すべての出力を抑制するために、ロジックがリアルタイムデコーダに追加されました。

セッションt12.2024.12.19でキーワード検出によるリアルタイムデコーダーを評価するために、キーワードの有無にかかわらず繰り返される同じ40の文章の手がかりからなる80の試行を収集しました。「∗」でキューされたトライアルがデコーダ出力につながった場合、または「∗」でキューされなかったトライアルが何も出力されなかった場合、トライアルは成功したと見なされました。平均成功率（バイナリ）を報告し、個々の試験（10,000リサンプル）でブートストラップ再サンプリングを使用して95%の信頼区間を計算しました。さらに、デコーダーが単語を正しく生成したキーワード試行の単語エラー率は、前述のように計算されました。これらのエラー率の95%の信頼区間は、個々の試行でのブートストラップ再サンプリングによっても推定され、その後、再サンプリングされた分布（10,000再サンプリング）に対する集計エラー率の再計算によっても推定されました。

定量化と統計分析

分析と統計は、公開されているカスタムMATLABとpythonコード（seedataとコードの可用性）を使用して実行され、STARメソッドで詳細に説明されています。要約統計、サンプルの詳細、エラーバーの詳細、および仮説テストは、表S6のすべての図について説明されています。

追加リソース

臨床試験登録番号NCT00912041（https://clinicaltrials.gov/study/NCT00912041?id=NCT00912041)。

補足情報 (4)

ドキュメントS1。表 S1、S2、S4、および S5

表S3。STARメソッドに関連するデータ収集セッションの概要を含むExcelファイル

表S6。STARメソッドに関連するすべての数値の要約統計、サンプルの詳細、エラーバーの説明、および仮説テストを含むExcelファイル

表S7。図3とSTARメソッドに関連する、オンラインデコード評価セッションで使用される補足トレーニングデータの概要を含むExcelファイル

参考文献

ペルズ、E.G.M.∙ Aarnoutse、E.J.∙ ラムジー、ノースファーン...

オランダにおける脳-コンピュータインタフェース神経技術のターゲット集団の推定有病率

神経リハビリテーション。神経修復。2017; 31:677-685

ギルジャ、V。∙ パンダリナート、C.∙ ブラベ、C.H. ...

高性能神経補綴物の臨床翻訳

ナット。医学。2015年; 21:1142-1145

ホッホバーグ、L.R.∙ セルヤ、医学博士∙ フリース、G.M. ...

四分麻痺の人間による義肢装置の神経アンサンブル制御

自然。2006; 442:164-171

パンダリナート、C。∙ ヌユジュキアン、P.∙ ブラベ、C.H. ...

皮質内脳とコンピュータのインターフェースを使用した麻痺患者による高性能なコミュニケーション

eLife. 2017; 6, e18554

シャルク、G. ∙ ミラー、K.J.∙ アンダーソン、N.R. ...

人間の皮質電気信号を用いた二次元運動制御

J.神経工学。2008; 5:75-84

ヌユジュキアン、P.∙ アルビット サナブリア、J.∙ サーブ、J. ...

麻痺した人によるタブレットコンピュータの皮質制御

PLOS One. 2018; 13, e0204566

シメラル、J.D.∙ キム、S.P.∙ ブラック、M.J....

皮質内マイクロ電極配列の移植後1000日後に四頭麻痺の人間によるカーソル軌道とクリックの神経制御

J.神経工学。2011年; 8:025027

ホッホバーグ、L.R.∙ バッチャー、D.∙ ヤロシエヴィチ、B. ...

神経制御されたロボットアームを使用して、四面麻痺の人々が到達し、つかむ

自然。2012; 485:372-375

コリンジャー、J.L.∙ ウォドリンガー、B.∙ ダウニー、J.E....

四性麻痺の個人による高性能神経補綴制御

ランセット。2013; 381:557-564

アジボイエ、A.B.∙ ウィレット、F.R.∙ ヤング、D.R....

四頭麻痺の人の脳制御された筋肉刺激による到達と把握の動きの回復：概念実証の実証

ランセット。2017; 389:1821-1830

ウィレット、F.R.∙ アヴァンシーノ、D.T. ∙ ホッホバーグ、L.R. ...

手書きによる高性能脳からテキストへの通信

自然。2021; 593:249-254

ウィレット、F.R.∙ クンツ、E.M.∙ ファン、C. ...

高性能な音声神経補綴物

自然。2023年;620:1031-1036

メッツガー、S.L.∙ リトルジョン、K.T. ∙ シルバ、A.B. ...

音声解読とアバター制御のための高性能神経補綴物

自然。2023; 620:1037-1046

モーゼス、D.A.∙ メッツガー、S.L.∙ 劉、J.R. ...

無神経障害麻痺者のスピーチを解読するための神経補綴物

N。英語。J.医学。2021; 385:217-227

アヌマンチッパルリ、G.K.∙ シャルティエ、J.∙ チャン、E.F.

話し言葉の神経解読による音声合成

自然。2019年; 568:493-498

シルバ、A.B.∙ リトルジョン、K.T. ∙ 劉、J.R. ...

言語神経補綴物

ナット。神経科学牧師。2024; 25:473-492

カード、N.S.∙ ワイラッカー、M.∙ イアコバッチ、C. ...

正確で迅速に校正する音声神経補綴物

N。英語。J.医学。2024; 391:609-618

バーナード、B。

脳が心を明らかにする方法 神経研究は意識的な経験の基本的な役割を支持する

J.意識。スタッド。2003年; 10:100-114

ハールバート、R.T. ∙ ヒービー、C.L.∙ ケルシー、J.M.

内面的な話の現象学に向けて

意識。コグ。2013; 22:1477-1494

ダルジェンボー、A.∙ ルノー、O. ∙ ヴァン・デル・リンデン、M.

日常生活における未来志向思考の頻度、特徴、機能

アプリ。コグ。サイコ。2011; 25:96-103

ハバード、T.L.

聴覚画像：経験的知見

サイコ。ブル。2010年; 136:302-329

アルダーソン・デイ、B。∙ フェルニーホー、C.

内なるスピーチ：発達、認知機能、現象学、神経生物学

サイコ。ブル。2015; 141:931-965

バドデリー、A.

ワーキングメモリ

科学。1992年; 255:556-559

バドデリー、A.∙ チンコッタ、D.∙ アドラム、A.

ワーキングメモリとアクションのコントロール：タスクの切り替えからの証拠

J.経験。サイコ。将軍2001; 130:641-657

ソコロフ、E.N.

情報処理におけるオリエンテーション対応

ローレンス・エルバウム・アソシエイツ、2002年

ニュートン、午前∙ デ・ヴィリエ、J.G.

話しながら考える：大人は非言語的誤った信念の推論に失敗します

サイコ。科学。2007年; 18:574-579

ハーディ、J.

はっきりと話す：自己話の文献の批判的なレビュー

サイコ。スポーツエクササイズ。2006年; 7:81-97

ドルコス、S.∙ アルバラシン、D.

行動規制の内なる言葉：あなたが自分自身に話しかけると、意図とタスクのパフォーマンスが強化されます

ユール。J.ソック。サイコ。2014年; 44:636-642

ペローネ=ベルトロッティ、M.∙ ラピン、L.∙ ラショー、J.P. ...

私の頭の中のその小さな声は何ですか？内なる言語現象学、認知能力におけるその役割、および自己監視との関係

行動する。脳の解像度。2014; 261:220-239

バドデリー、A.∙ エルドリッジ、M.∙ ルイス、V.

読書におけるサブボーカルの役割

Q.J.経験。サイコ。A.1981; 33:439-454

ソルーシュ、P.Z. ∙ ハーフ、C.∙ リース、S.K....

頭蓋内録音で明らかな、口、想像上のスピーチ活動のネストされた階層

神経イメージ。2023; 269, 119913

タンカス、A.∙ ソロモン、L.∙ アハロニー、Y. ...

音声脳機械インターフェースのための複数の視床下スパイクトレインを解読するための機械学習アルゴリズム

J.神経工学。2021年; 18, 066021

Proix, T. ∙ Delgado Saa, J.∙ クリステン、A. ...

想像上の音声は、低周波数および交差周波数の頭蓋内脳波機能から解読できます

ナット。コミューン。2022年; 13, 48

ブックハイマー、S.Y.∙ ゼフィロ、T.A.∙ ブラクストン、T. ...

オブジェクトの命名と単語の読み取り中の局所的な脳血流

ハム。脳マップ。1995; 3:93-106

パーマー、E.D.∙ ローゼン、H.J.∙ Ojemann、J.G. ...

あからからかのワードステム補完に関するイベント関連fMRI研究

神経イメージ。2001年;14:182-193

黄、J。∙ カー、T.H.∙ Cao、Y。

イベント関連fMRIを使用した無声とあからさ話のための皮質活性化の比較

ハム。脳マップ。2002; 15:39-53

シュスター、L.I.∙ Lemieux、S.K.

秘密的およびあからかに生成された単音節および多音節の単語のfMRI調査

脳ラング。2005; 93:20-31

フリングス、M.∙ ディミトロワ、A.∙ Schorn、C.F. ...

動詞生成における小脳の関与：fMRI研究

神経科学。レット。2006; 409:19-23

芭蕉、S.∙ パーマー、E.D.∙ ルビオ、M.A. ...

意味の流暢さのfMRI適応における生成モードの影響：ペース生産とあから出たスピーチ

神経心理学。2007; 45:1697-1706

キーラー、A。∙ ミルマン、L.∙ ボナクダルプール、B. ...

緊張と合意形態の隠れた発生と明らかな生成の神経相関関係：fMRIからの証拠

J.神経言語学者。2011年; 24:183-201

ペイ、X. ∙ ロイトハルト、E.C.∙ ガオナ、C.M. ...

あからさわるおよび隠密な単語の繰り返し中の高ガンマ活動の時空力学

神経イメージ。2011年; 54:2960-2972

デ・ボーマン、A.∙ ウィッテヴロンゲル、B.∙ ダウウェ、私...

皮質電図による想像上の音声イベント検出と、音声モードと被験者間の移動

コミューン。バイオル。2024年; 7, 818

マーティン、S.∙ イトゥラテ、I。∙ ミラン、J.D.R. ...

皮質電気撮影を用いた内面音声の解読：音声補綴物への進歩と課題

フロント。神経科学。2018年; 12, 422

チャン、W。∙ 劉、Y。∙ 王、X. ...

音声生成中の運動系と感覚系の間の動的でタスク依存的な表現変換

コグ。神経科学。2020年;11:194-204

池田、S。∙ 柴田、T. ∙ 中野、N. ...

皮質電気図を用いた秘密のアーティキュレーション中の単母音の神経デコード

フロント。ハム。神経科学。2014; 8, 125

マーティン、S.∙ ブルナー、P.∙ イトゥレート、I. ...

訂正：直接脳録音を使用した想像上のスピーチ中の単語ペアの分類

科学。Rep. 2017; 7, 44509

アングリック、M.∙ オッテンホフ、M.C.∙ ダイナー、L. ...

神経活動の低侵襲記録からの想像上の音声プロセスのリアルタイム合成

コミューン。バイオル。2021; 4, 1055

ワンデルト、S.K.∙ ビョネス、D.A.∙ ペジサ、K. ...

ヒト上側回における単一ニューロンによる内部音声の表現

ナット。ハム。行動する。2024年; 8:1136-1149

グラッサー、M.F. ∙ コールソン、T.S.∙ ロビンソン、E.C....

ヒト大脳皮質のマルチモーダル区画化

自然。2016年; 536:171-178

ドラックマン、S.∙ Chklovskii、D.

反復ニューラルネットワーク上の過完全な表現は、永続的な知覚をサポートすることができます

神経インフプロセスシステム。2010年; 541-549

ドラックマン、S.∙ Chklovskii、D.B.

時間の変化にもかかわらず、持続的な表現の根底にある神経回路

curr。バイオル。2012年; 22:2095-2103

ヴィヤス、S。∙ ゴラブ、医学博士∙ スシージョ、D. ...

ニューラル集団ダイナミクスによる計算

年。神経科学牧師。2020年; 43:249-275

カウフマン、M.T. ∙ チャーチランド、M.M.∙ リュウ、S.I....

ヌル空間での皮質活動：移動なしで準備を許す

ナット。神経科学。2014年; 17:440-448

リー、N。∙ ダイ、K.∙ スボボダ、K. ...

運動計画中の運動前皮質における堅牢な神経動態

自然。2016年; 532:459-464

デュケ、J.∙ イヴリー、R.B.

運動準備中の皮質脊髄抑制の役割

セレブ。皮質。2009年;19:2013-2024

三宅、A.∙ エマーソン、M.J.∙ パディラ、F. ...

タスク目標の検索補助としての内面スピーチ：ランダムタスクキューパラダイムにおけるキュータイプとアーティキュラリ抑制の効果

アクタ・サイコル。2004年;115:123-142

ギルフーリー、K.J.∙ ロギー、R.H.∙ ウェザリック、N.E. ...

三段論的推論タスクにおけるワーキングメモリと戦略

メム。認知。1993年; 21:115-124

トレイスマン、午前∙ ゲラデ、G.

注意の特徴統合理論

知覚から意識へ

オックスフォード大学出版局、2012年; 77-96

ヤロシエヴィチ、B.∙ サルマ、A.A.∙ バッハー、D. ...

自己校正皮質内脳コンピュータインターフェースを使用した四性麻痺患者による仮想タイピング

科学。トランス。2015年7月313ra179

パージ、J.A.∙ ホーマー、M.L.∙ マリク、W.Q. ...

日中の信号の不安定性は、皮質内神経界面システムにおけるデコード性能に影響を与える

J.神経工学。2013; 10, 036004

リヒハイム、L. ...

失語症について

ブロカの登録。

オックスフォード大学出版局、1885; 318-347

ダマシオ、A.R.∙ ゲシュヴィンド、N.

言語の神経基盤

年。神経科学牧師。1984年; 7:127-147

風、J。∙ キアレッリ、B。∙ ビチャクジャン、B. ...

言語の起源：学際的なアプローチ

スプリンガーサイエンス&ビジネスメディア、2013年

プルヴェルミュラー、F。

脳の言語の言葉

行動する。脳科学。1999年; 22:253-279

; 議論 280–336

ブライテンバーグ、V.∙ Pulvermüller、F.

Entwurf einer neurologischen Theorie der Sprache

科学。ナット。1992年; 79:103-117

シッパーズ、A。∙ ヴァンスティーンセル、M.J.∙ フロイデンブルク、Z.V. ...

私の口に言葉を入れないでください：スピーチの知覚は、スピーチBCIの偽陽性の活性化を生成する可能性があります

medRxivでのプレプリント。2024;、2024.01.21.23300437

デクレヴァ、B.M.∙ チャウドゥリー、R.H.∙ バティスタ、A.P. ...

運動皮質は、運動画像中に神経力学を保持し、方向を変更します

ナット。ハム。行動する。2024; 8:729-742

ソルダド=マグラナー、J.∙ アントニエッティ、A.∙ フランス語、J. ...

IEEE BRAIN神経倫理フレームワークを皮質内脳とコンピュータのインターフェースに適用する

J.神経工学。2024年;21日、022001年

ブラウン、C.M.L.

ニューロライト、精神的なプライバシー、そしてマインドリーディング

神経倫理。2024; 17

ヴァン・スタイベンバーグ、O.C.∙ サムラル、D.P.S.∙ ヴァンスティーンセル、M.J. ...

AI主導のスピーチにおけるユーザーコントロールの倫理的意義-BCI：ナラティブレビュー

フロント。ハム。神経科学。2024; 18, 1420334

フェドレンコ、E.∙ Piantadosi, S.T. ∙ Gibson, E.A.F.

言語は主に思考ではなくコミュニケーションのためのツールです

自然。2024; 630:575-586

コンパ、N.A.

内なるスピーチと「純粋な」思考-私たちは言語で考えますか？

フィロス牧師。サイコ。2024; 15:645-662

アリ、Y.H.∙ ボドキン、K.∙ リゴッティ・トンプソン、M. ...

ブランド：ディープネットワークモデルによるクローズドループ実験のためのプラットフォーム

J.神経工学。2024; 21, 026046

デオ、D.R.∙ オコロコバ、E.V.∙ プリチャード、A.L. ...

人間の運動皮質における全身表現のモザイク

bioRxivでのプレプリント。2024;、2024.09.14.613041

マッセ、ニューヨーク∙ ヤロシエヴィチ、B.∙ シメラル、J.D. ...

非因果スパイクフィルタリングは、皮質内BCIの動きの意図のデコードを改善します

J.神経科学。方法。2014; 236:58-67

ヤング、D。∙ ウィレット、F. ∙ メンバー、W.D. ...

機能的電気刺激による微小電極脳記録におけるアーティファクトを減らすための信号処理方法

J.神経工学。2018年; 15, 026014

トラウトマン、E.M.∙ スタビスキー、S.D.∙ ラヒリ、S. ...

スパイクソートなしのニューラル集団動態の正確な推定

ニューロン。2019年; 103:292-308.e4

チェステック、C.A.∙ ギルジャ、V.∙ ヌユジュキアン、P. ...

アカゲザル運動皮質におけるシリコン皮質アレイからの神経補綴制御信号の長期安定性

J.神経工学。2011年; 8, 045005

クリスティ、B.P.∙ タット、D.M.∙ アーウィン、Z.T. ...

皮質内脳機械インタフェース性能のための電圧波形のスパイクソートと閾値の比較

J.神経工学。2015年; 12, 016009

ネイソン、S.R.∙ ヴァスコフ、A.K.∙ ウィルシー、M.S. ...

局所的な単一ユニットが支配するニューロンスパイク活動の低電力帯は、脳と機械のインターフェースのパフォーマンスを向上させます

ナット。バイオメッド。英語。2020年; 4:973-983

Https://doi.org/10.1038/s41551-020-0591-0

ブレイナード、D.H.

精神物理学のツールボックス

スパット。ヴィス。1997年; 10:433-436

ウィレット、F.R.∙ デオ、D.R.∙ アヴァンシーノ、D.T. ...

前運動皮質のハンドノブ領域は、構成的な方法で全身を表します

セル。2020年; 181:396-409.e26

ファン、C。∙ ハーン、N.∙ カムダー、F. ...

皮質内脳とコンピュータのインターフェースのためのプラグアンドプレイの安定性：シームレスな脳とテキストのコミュニケーションの1年間のデモンストレーション

Adv. Neural Inf.プロセス。システム。2023; 36:42258-42270

Povey, D., Ghoshal, A., Boulianne, G., Burget, L., Glembek, O., and Goel, N.（2011）。728 Mirko Hannemann、Motlicek、P.、Qian、Y.、Schwarz、P.、他。カルディ音声認識。自動音声認識と理解に関するIEEE 2011ワークショップでは、730 CONFERENCE IEEE Signal Processing Society 729ツールキットが開催されました。

ガオ、L.∙ ビダーマン、S.∙ ブラック、S. ...

The Pile：言語モデリングのための多様なテキストの800GBデータセット

arXivでのプレプリント。2020;

モフリ、M.∙ ペレイラ、F. ∙ ライリー、M.

加重有限状態トランスデューサによる音声認識

ベネスティ、J。∙ ソンディ、M.M.∙ 黄、Y.A.（編集者）

スピーチ処理のスプリンガーハンドブック

スプリンガー、2008; 559-584

ヴァスワニ、A.∙ シェイザー、N.∙ パルマー、N. ...

必要なのは注意だけです

第31回神経情報処理システムに関する国際会議の議事録 NIPS'17

カラン・アソシエイツ社、2017年; 6000-6010

チャン、S。∙ ローラー、S.∙ ゴヤル、N. ...

OPT：オープンプリトレーニングトランスフォーマー言語モデル

クリン。オルトホップ。関係。レス。2022;

ペドレゴサ、F. ∙ ヴァロクオー、G. ∙ グラムフォート、A. ...

Scikit-learn：Pythonでの機械学習

マッハ。学ぶ。パイソン。2011; 6

トレイスマン、午前∙ ゲラデ、G.

注意の特徴統合理論

コグ。サイコ。1980年; 12:97-136

ジョルジーノ、T.

Rでの動的タイムワーピングアライメントの計算と視覚化：dtwパッケージ

J.統計。ソフト。2009年; 31:1-24