単語リスト

単語リストは、語彙集に含まれる単語のリストで、一般的には出現頻度順（段階別または順位付けリスト）に並べられています。単語リストは、特定のテキストコーパス内の語彙頻度分析によって編集され、コーパス言語学において言語やテキストの系譜と進化を調査するために使用されます。コーパスに一度だけ現れる単語は、ハパックス・レゴメナと呼ばれます。教育学では、語彙リストは語彙習得のカリキュラム設計に使用されます。頻度順に分類された語彙集は、「学習者が語彙学習の努力に対して最大限の成果を得られるよう、合理的な根拠を提供する」（Nation 1997）ものですが、主にコース作成者を対象としており、学習者を直接対象としたものではありません。頻度リストは辞書編集の目的でも作成され、一般的な単語が漏れないようにするための一種のチェックリストとして機能します。大きな落とし穴としては、コーパスの内容、コーパスの登録簿、そして「単語」の定義が挙げられます。単語数のカウントは1000年前から行われており、20世紀半ばでも依然として膨大な量の分析が手作業で行われていましたが、映画の字幕（SUBTLEXメガスタディ）などの大規模コーパスの自然言語電子処理によって、この研究分野は加速しました。

計算言語学では、頻度リストは単語（単語の種類）とその頻度を並べたリストです。ここでの頻度は通常、特定のコーパス内での出現回数を意味し、そこからリスト内の位置として順位を導き出すことができます。

表1: 語彙頻度分析の例
タイプ発生事例ランク
その3,789,6541位
彼2,098,7622位
[...]
王57,8971,356位
男の子56,9751,357位
[...]
ストリング化534,589番目
[...]
伝達する1123,567位

方法論

要因

ネイション（Nation 1997）は、コンピュータ処理能力の驚くべき進歩によってコーパス分析がはるかに容易になったと指摘しました。彼は、頻度リストの構築に影響を与えるいくつかの重要な問題を挙げています。

  • コーパスの代表性
  • 単語の頻度と範囲
  • 語族の扱い
  • 慣用句や定型表現の扱い
  • 情報の範囲
  • その他のさまざまな基準

コーパス

伝統的な文章コーパス

セルビア・クロアチア語における人称代名詞の頻度

現在利用可能な研究のほとんどは、より簡単に入手でき、処理しやすい 書かれたテキストコーパスに基づいています。

SUBTLEX運動

しかし、New et al. 2007は、オンラインで利用可能な膨大な数の字幕を活用して、大量のスピーチを分析することを提案しました。Brysbaert & New 2009は、従来のテキスト分析アプローチを長きにわたって批判的に評価し、オンラインで利用可能な音声分析や映画字幕の分析への移行を支持しています。初期の研究にはいくつかのフォローアップ研究が行われ、[ 1 ]様々な言語における貴重な頻度カウント分析が提供されました。クリーンアップされたオープン字幕に関する詳細な SUBTLEX 研究[ 2 ]は、フランス語 ( New et al. 2007 )、アメリカ英語 ( Brysbaert & New 2009 ; Brysbaert, New & Keuleers 2012 )、オランダ語 ( Keuleers & New 2010 )、中国語 ( Cai & Brysbaert 2010 )、スペイン語 ( Cuetos et )向けに作成されました。 al. 2011 )、ギリシャ語 ( Dimitropoulou et al. 2010 )、ベトナム語 ( Pham, Bolger & Baayen 2011 )、ドイツ語 ( Brysbaert et al. 2011 )、ブラジルポルトガル語 ( Tang 2012 ) およびポルトガル語ポルトガル語 ( Soares et al. 2015 )、アルバニア語 ( Avdyli & Cuetos 2013 )、ポーランド語 ( Mandera et al. 2014 )、カタロニア語（2019 [ 3 ]）、ウェールズ語（Van Veuhen et al. 2024 [ 4 ]）。SUBTLEX-IT（2015）は生データのみを提供しています。[ 5 ]harvnb エラー: ターゲットがありません: CITEREFBrysbaertBuchmeierConradJacobs,_Bölte_&_Böhl2011 (ヘルプ)

語彙単位

いずれにせよ、基本的な「単語」単位を定義する必要があります。ラテン文字の場合、単語は通常、スペースまたは句読点で区切られた1文字または複数文字で構成されます。しかし、例外が発生することもあります。英語の「can't」やフランス語の「aujourd'hui」は句読点を含みますが、フランス語の「chateau d'eau」はスペースを含みながら、構成要素の単純な追加とは異なる概念を表現しています。また、語族に属する単語を、その基底語の表現でグループ化することが望ましい場合もあります。例えば、「possible」、「impossible」、「posibility」は、基底語*possib*で表される同じ語族に属する単語です。統計的な目的のため、これらの単語はすべて基底語形*possib*で集計され、概念と形態の出現順位付けが可能になります。さらに、他の言語では特有の問題が生じる場合があります。例えば、中国語では単語間にスペースが使用されず、特定の複数の文字の連鎖が、1文字だけの単語の句として解釈されるか、複数文字からなる単語として解釈されるかのいずれかです。

統計

ジップの法則は、あらゆる自然言語の長文テキストから抽出された頻度リストにも当てはまるようです。頻度リストは、計算言語学の幅広い応用の前提条件となる電子辞書を構築する際に役立つツールです。

ドイツ語学者は、リスト内の項目の頻度クラス（Häufigkeitsklasse ）を、その項目の頻度と最も頻度の高い項目の頻度の比の2を底とする対数を用いて定義します。最も頻度の高い項目は頻度クラス0（ゼロ）に属し、頻度が約半分の項目は頻度クラス1に属します。上記のリストの例では、スペルミスのある単語「outragious」の頻度は76/3789654で、頻度クラス16に属します。 北{\displaystyle N}

北＝⌊0.5−ログ2⁡（このアイテムの頻度最も一般的な項目の頻度）⌋{\displaystyle N=\left\lfloor 0.5-\log _{2}\left({\frac {\text{この項目の頻度}}{\text{最も一般的な項目の頻度}}}\right)\right\rfloor }

床関数はどこですか？ ⌊…⌋{\displaystyle \lfloor \ldots \rfloor }

頻度リストは、意味ネットワークとともに、意味圧縮のプロセスで上位語に置き換えられる最も一般的でない専門用語を識別するために使用されます。

教育学

これらのリストは生徒に直接渡すことを意図したものではなく、教師や教科書執筆者のためのガイドラインとして役立つものです（Nation 1997）。ポール・ネイションによる現代語教育の要約では、まず「高頻度語彙と特殊目的語彙（テーマ別語彙）から低頻度語彙へと移行し、その後、学習者が自律的に語彙を拡大していくための戦略を教える」ことを推奨しています（Nation 2006）。

単語の頻度の影響

語句頻度には様々な効果があることが知られています ( Brysbaert et al. 2011 ; Rudell 1993 )。語句頻度が高いほど記憶力は向上しますが、これは学習者がより多くの語句に触れる機会が増えるためと考えられます ( Laufer 1997 )。語彙アクセスも語句頻度が高いほど向上し、この現象は語句頻度効果と呼ばれます( Segui et al. )。語句頻度効果は、語句を学習した年齢、つまり 獲得年齢の効果と関連しています。harvnb エラー: ターゲットがありません: CITEREFBrysbaertBuchmeierConradJacobs,_Bölte_&_Böhl2011 (ヘルプ)

言語

以下は利用可能なリソースのレビューです。

英語

単語数を数えることは古くからある分野で、[ 6 ]ヘレニズム時代にまで遡る議論が知られています。1944年、エドワード・ソーンダイク、アーヴィン・ロージ、および同僚[ 7 ]は、現代のコンピュータがそのようなプロジェクトをはるかに容易にする以前に、1800万語のランニングワードを手作業で数え、最初の大規模な英語の頻度リストを作成しました（ネイション1997）。20世紀の作品はすべて古さが問題となっています。特に、「ブログ」などのテクノロジーに関連する単語は、2014年には現代アメリカ英語コーパスの頻度ランキングで7665位でした[ 8 ]が、 [ 9 ]初めて確認されたのは1999年であり、[ 10 ] [ 11 ] [ 12 ]、これら3つのリストのいずれにも登場しません。

教師用3万語単語集（ソーンダイク・アンド・ロージ、1944年）
教師用単語帳には、3万語のレマ、あるいは約1万3千語の語族が含まれています（Goulden、Nation、Read、1990年）。1,800万語の書き言葉コーパスが手作業で分析されました。ソースコーパスの規模が大きかったため有用性は高まりましたが、古さと言語の変化により適用範囲は狭まっています（Nation、1997年）。
一般奉仕者名簿（ウェスト、1953年）
General Service List には、2,000語の見出し語が収録されており、1,000語ずつ2セットに分かれています。1940年代に500万語の書き言葉コーパスが分析されました。見出し語の様々な意味および品詞の出現率（%）が示されています。頻度や範囲以外の様々な基準が、このコーパスに慎重に適用されました。そのため、古さ、多少の誤り、そしてコーパス全体が書き言葉であるにもかかわらず、単語の出現頻度、意味の出現頻度、そしてノイズの低減に関する優れたデータベースとなっています（Nation 1997 ）。このリストは、2013年にCharles Browne博士、Brent Culligan博士、Joseph PhillipsによってNew General Service Listとして更新されました。
アメリカン・ヘリテージ単語頻度表（キャロル、デイヴィス、リッチマン、1971年）
米国の学校（様々な学年、様々な教科）で使用されている文章から抽出した500万語のコーパス。学校教材に焦点を当て、各学年、各教科における各単語の出現頻度に基づいてタグ付けされている点が価値ある点です（Nation 1997）。
Brown (Francis and Kucera, 1982) LOBと関連コーパス
現在、これらには英語の様々な方言を表す100万語のコーパスが収録されています。これらの情報源は、頻度リストの作成に使用されています（Nation 1997）。

フランス語

従来のデータセット

New & Pallierによるレビューが発表されている。1950年代から60年代にかけて、 Français fondamentalを用いた試みがなされた。これには、1,500語の高頻度語を含むFF1リストと、後に1,700語の中頻度語を含むFF2リスト、そして最もよく使われる統語規則が含まれている。[ 13 ] 70語の文法語がコミュニカティブ文の50%を占め、[ 14 ] [ 15 ] 3,680語で約95～98%のカバー率を占めるとされている。[ 16 ] 3,000語の頻出語のリストも利用可能である。[ 17 ]

フランス教育省は、語彙学者エティエンヌ・ブリュネによる、最も頻繁に使用される1,500語の語族のランキングリストも提供しています。[ 18 ]ジャン・ボードは、アメリカのブラウン研究をモデルにした「現代フランス語で書かれた語の使用頻度」と題した研究を行いました。[ 19 ]

最近では、プロジェクトLexique3が142,000語のフランス語単語を提供しており、正書法、音声、音節、品詞、性別、ソースコーパスでの出現回数、頻度順位、関連する語彙素などが含まれ、オープンライセンスCC-by-sa-4.0の下で利用可能となっている。[ 20 ]

サブトレックス

このLexique3は、前述のSubtlex運動の起源となった継続的な研究です。Newら（2007年）は、オンライン映画字幕に基づいた全く新しい集計方法を開発しました。

スペイン語

スペイン語の単語の頻度に関する研究はいくつかある（Cuetos et al. 2011）。[ 21 ]

中国語

中国語コーパスは長い間、頻度リストの観点から研究されてきました。中国語の語彙を学ぶ歴史的な方法は、文字の頻度に基づいています ( Allanic 2003 )。アメリカの中国学者ジョン・デフランシスは、著書「なぜジョニーは中国語が読めないのか」 ( DeFrancis 1966 ) の中で、外国語としての中国語の学習と教育におけるその重要性について述べています。頻度ツールキットとして、 Da ( Da 1998 ) と台湾教育部 ( TME 1997 ) は、文字と単語の頻度ランキングを含む大規模なデータベースを提供しました。中華人民共和国の高頻度および中頻度語 8,848 語のHSKリストと、中華民国 (台湾)の一般的な繁体字中国語単語 8,600 語の TOP リストは、一般的な中国語の単語と文字を表示する他の 2 つのリストです。

他の

ウィクショナリーには、より多くの言語での頻度リストが含まれています。[ 22 ]

Wikipediaや複合コーパスに基づく、さまざまな言語で最も頻繁に使用される単語。[ 23 ]

参照

注記

  1. ^ 「Crr » 字幕単語頻度」 。 2021年4月17日時点のオリジナルよりアーカイブ。2012年5月22日閲覧。
  2. ^ Brysbaert, Marc. 「字幕の単語頻度」 . crr.ugent.be . 2023年4月15日時点のオリジナルよりアーカイブ。 2025年10月11日閲覧。
  3. ^ボアダ、ロジャー;マルク・グアッシュ;ハロ、フアン。デメストル、ジョセップ。フェレ、ピラール（2020年2月1日）。「SUBTLEX-CAT: カタルーニャ語の字幕単語の頻度と文脈の多様性」。行動調査方法。52 (1): 360–375。土井: 10.3758/s13428-019-01233-1。ISSN 1554-3528。PMID 30895456。S2CID 84843788。   
  4. ^ van Heuven, Walter JB; Payne, Joshua S; Jones, Manon W (2024年5月). 「SUBTLEX-CY: ウェールズ語の新しい単語頻度データベース」 . Quarterly Journal of Experimental Psychology . 77 (5): 1052– 1067. doi : 10.1177/17470218231190315 . ISSN 1747-0218 . PMC 11032624. PMID 37649366 .   
  5. ^アメンタ、シモーナ;マンデラ、パヴェウ;ケウラー、エマニュエル。マーク・ブリスバート;クレパルディ、ダヴィデ（2022年1月7日）。「サブトレックス-IT」。
  6. ^ボントレガー、テリー（1991年4月1日）「1944年のソーンダイク＝ロージ・リスト以前の単語頻度リストの発展」『リーディング・サイコロジー』12 (2): 91–116 . doi : 10.1080/0270271910120201 . ISSN 0270-2711 . 
  7. ^教師用単語帳3万語収録。
  8. ^ 「単語とフレーズ: 頻度、ジャンル、共起語、一致、同義語、WordNet」。
  9. ^ 「現代アメリカ英語コーパス（COCA）」。
  10. ^ 「それはリンクだよ、バカ」。エコノミスト。2006年4月20日。 2008年6月5日閲覧。
  11. ^ Merholz, Peter (1999). 「Peterme.com」 .インターネットアーカイブ. 1999年10月13日時点のオリジナルよりアーカイブ。 2008年6月5日閲覧。
  12. ^ Kottke, Jason (2003年8月26日). 「kottke.org」. 2008年6月5日閲覧。
  13. ^ “ル・フランセ・フォンダメンタル” . 2010 年 7 月 4 日のオリジナルからアーカイブされました。
  14. ^ Ouzoulias、André (2004)、Comprendre et aider les enfants en infectioné scolaire: Le Vocabulaire Fodamental、70 mots essentiels (PDF)、Retz- VAC Henmonを引用（リンク切れ、インターネットアーカイブのコピーなし、2023年8月10日）
  15. ^ Liste des "70 mots essentiels" recensés par VAC Henmon
  16. ^ 「一般論」。
  17. ^ 「PDF 3000 フランス語単語」。
  18. ^ “メトリーズ・ド・ラ・ラング・ア・レコール: Vocabulaire” .国立教育省。
  19. ^ Baudot, J. (1992)、Fréquences d'utilisation des mots en français écrit contemporain、Presses de L'Université、ISBN 978-2-7606-1563-2
  20. ^ 「Lexique」 .
  21. ^ 「スペイン語の単語頻度リスト」Vocabularywiki.pbworks.com。
  22. ^ Wiktionary:周波数リスト、2024年7月21日
  23. ^さまざまな言語で最も頻繁に使用される単語、ezglot

参考文献

無料辞書の Wiktionary で、Wiktionary:Frequency リストを調べてください。

理論的概念

テキストベースのデータベース

SUBTLEX運動

「 https://en.wikipedia.org/w/index.php?title=Word_list&oldid=1334676047」より取得