人工知能って要は確率とか統計学じゃん。

自然言語処理とか統計学の勉強初めて思ったことがある。世の中で一般的に「人工知能」とか言われているものはただの「数学」の産物であるということ。

自然言語処理という言葉を知らない人のために軽く言葉について説明する。google検索とかsiri、アマゾンアレクサみたいな「音声認識」「文字検索」といったこれらの技術に使用されているものだ。これらには全て「自然言語処理」が使われている。

人間が生み出した言語とはプログラミング言語とかがあるが、それらではなく我々が普段話している言語のことを「自然言語」という。

それを数学（主に確率、統計学）の知識を使って統計処理しコンピュータに理解させるために「色々」することを「自然言語処理」という。

ここでいう「色々」というのは自分でも全てを述べることはできないが、例えばネット上にある大量の文章をコンピューターに読みこませることで、「この語とこの語のあとはだいたいこのパターンが~％だな」とか「この単語が多い文章はこのカテゴリーに属するな」とかそう言ったことを学習させる。そのために、文章を単語に分解させることから始まり、どの単語が何回出現するかとか、そういったことをプログラミングで処理させるのが一例だろう。

もちろん大量の文章を学習させれば、そのうち前後の単語から品詞の推測や、適切な単語の意味を予測すると言ったこともできるわけである。最近ではgoogle翻訳などにももちろん、このような確率論の基礎的な知識が使われているわけである。

長くなったが上で述べてきたようなことが、自然言語処理とか統計学を自学してわかったのである。

人工知能というより、その正体を知っている人からしたらただの「数学」である。

やっていることは

文章ファイルをコンピュータに読み込ませる
数学的に処理できるように文章を色々分解したりする（自然言語処理）
数学的に記憶させ（データを蓄積させ）、新しいデータを与える
新しいデータが与えられた時に、何かしらの出力を返すようにソフトウェアを作る

最後のプロセスは文章のカテゴリー判別が目的ならカテゴリーを表示するようにするし、正答率などの数値的な指標を知ることが目的なら、それを表示するようにする可能性もある。

一般的な検索エンジンでは、単語が検索バーに入力された時に、「その単語を含む記事かつ、webページの評価が高いものを出力する」ようにアプリケーションが設計されているわけだ。

webページの評価指標には色々あるが、一番有名なのはgoogleの創始者のラリーペイジが開発した「ページランク」が有名だろう。

「ページランク」はより多くの人にアクセスされたり、別の記事内で引用されたりすると評価が高くなるものである。webページとラリーペイジがうまくかかっている笑

以上のことからも理解できると思うが、ただの数学だ。

しかしその挙動が、「我々の日常的なスピードよりも速く、大量の計算を実行し、オートに何かしらの出力を返す」からあたかも生きているように見えるのだ。

しかもオートに出力するように設計しているのは我々人間である。

それが人工知能の正体だ。

この名前に違和感があるので、別の名前にしてほしいと思う今日この頃笑

記事が役に立ったらシェア！

CodingBatで自然言語処理の勉強~その１~

codingBatのつまづいた所のメモです。

Warmup-1

missing_char

Given a non-empty string and an int n, return a new string where the char at index n has been removed. The value of n will be a valid index of a char in the original string (i.e. n will be in the range 0..len(str)-1 inclusive).

ex)

missing_char(‘kitten’, 1) → ‘ktten’
missing_char(‘kitten’, 0) → ‘itten’
missing_char(‘kitten’, 4) → ‘kittn’

要するに、「二つ目の引数で与えられた数字番目の文字を抜かせ」ということだ。

sliceを使って、抜かした文字列の前と後ろで分けて、足してやれば良い

#!/usr/bin/env python
# -*- coding: utf-8

def missing_char(str, n):
  front = str[:n]
  back = str[n+1:]
  return front + back

print(missing_char("hoge",1))

#!/usr/bin/env python

# -*- coding: utf-8

def missing_char(str, n):

front = str[:n]

back = str[n+1:]

return front + back

print(missing_char("hoge",1))

実行するとこんな感じ。

hge

hge

front_back

Given a string, return a new string where the first and last chars have been exchanged.

ex)
front_back(‘code’) → ‘eodc’
front_back(‘a’) → ‘a’
front_back(‘ab’) → ‘ba’

要するに、与えた文字列の最初と最後を入れ替えろということ

#!/usr/bin/env python
# -*- coding: utf-8

def front_back(str):
  if len(str)<= 1:
    return str
  mid = str[1:len(str)-1]

  return str[len(str)-1] + mid + str[0]

print(front_back("hoge"))

#!/usr/bin/env python

# -*- coding: utf-8

def front_back(str):

if len(str)<= 1:

return str

mid = str[1:len(str)-1]

return str[len(str)-1] + mid + str[0]

print(front_back("hoge"))

答えの文字列を「最後の文字」＋「最後と最初以外の真ん中の文字列」＋　「最初の文字」と分割して考えているところがみそ。

実行するとこんな感じ。

eogh

eogh

front3

Given a string, we’ll say that the front is the first 3 chars of the string. If the string length is less than 3, the front is whatever is there. Return a new string which is 3 copies of the front.

ex)
front3(‘Java’) → ‘JavJavJav’
front3(‘Chocolate’) → ‘ChoChoCho’
front3(‘abc’) → ‘abcabcabc’

要は、与えられた文字列の前文字を三回繰り返すものを作成しろということ。

#!/usr/bin/env python
# -*- coding: utf-8

def front3(str):
  slice = str[:3]
  return slice*3

print(front3("hugahuga"))

#!/usr/bin/env python

# -*- coding: utf-8

def front3(str):

slice = str[:3]

return slice*3

print(front3("hugahuga"))

特に難しくない.

実行結果はこんな感じ。

hughughug

hughughug

Warmup-2

string_splosion

Given a non-empty string like “Code” return a string like “CCoCodCode”.

ex)
string_splosion(‘Code’) → ‘CCoCodCode’
string_splosion(‘abc’) → ‘aababc’
string_splosion(‘ab’) → ‘aab’

要は、与えられた文字列の「前１文字抜き出す＋前２文字抜き出し＋前３文字抜き出し…＋最終文字まで抜き出す」　というのを繰り返した文字列を生成しろということ。

#!/usr/bin/env python
# -*- coding: utf-8
def string_splosion(str):
  slice = ""
  for i in range(0,len(str)):
    slice = slice + str[:i+1]
  return slice

print(string_splosion("MCMC法"))

#!/usr/bin/env python

# -*- coding: utf-8

def string_splosion(str):

slice = ""

for i in range(0,len(str)):

slice = slice + str[:i+1]

return slice

print(string_splosion("MCMC法"))

for文で最終文字（lenで長さを取得する）番目まで抜き出すのを繰り返し、それまでのを足していくだけ。

実行結果はこんな感じ。

MMCMCMMCMCMCMC法

1	MMCMCMMCMCMCMC法

last2

Given a string, return the count of the number of times that a substring length 2 appears in the string and also as the last 2 chars of the string, so “hixxxhi” yields 1 (we won’t count the end substring).

last2(‘hixxhi’) → 1
last2(‘xaxxaxaxx’) → 1
last2(‘axxxaaxx’) → 2

要は、最後２文字と同じものが「最後２文字をのぞいたところで、見つかればそれをカウントする」

以下の例であれば、「SS」は「１文字目＋２文字目」「２文字目＋３文字目」「３文字目＋４文字目」と合計三回見つかるので、3が出力されれば正解である。

#!/usr/bin/env python
# -*- coding: utf-8
def last2(str):
  slice = str[-2:]
  count = 0
  for i in range(0,len(str)-2):#最終文字まで確認
    hoge = str[i:i+2]#頭から２文字抜き出す
    if hoge == slice :#抜き出した２文字が最後2文字と合致するかの確認
      count = count +1　#合致する場合カウント
  return count

print(last2("sssseeess"))

#!/usr/bin/env python

# -*- coding: utf-8

def last2(str):

slice = str[-2:]

count = 0

for i in range(0,len(str)-2):#最終文字まで確認

hoge = str[i:i+2]#頭から２文字抜き出す

if hoge == slice :#抜き出した２文字が最後2文字と合致するかの確認

count = count +1　#合致する場合カウント

return count

print(last2("sssseeess"))

2文字のngramなので、与えられた文字列を2文字ごとに最終文字である「SS」とあっているか確認すれば良い。

実行結果がいかになれば良い。

3

Coding Bat PythonのWarmup1の途中からWarmup2の途中までやりました。

また勉強したら更新しようと思います。

スポンサードリンク

記事が役に立ったらシェア！

言語処理100本ノック（第3章前半）

スポンサードリンク

第２章後半の続きです。どうやらここからが本番のようです。正規表現という初めて触れるので他の方のサイトを参考にしながらゆっくりやっていきたいです。

参考にさせていただいたサイトはこちら

Wikipediaの記事を以下のフォーマットで書き出したファイルjawiki-country.json.gzがある．

1行に1記事の情報がJSON形式で格納される
各行には記事名が”title”キーに，記事本文が”text”キーの辞書オブジェクトに格納され，そのオブジェクトがJSON形式で書き出される
ファイル全体はgzipで圧縮される

以下の処理を行うプログラムを作成せよ．

20. JSONデータの読み込み

『Wikipedia記事のJSONファイルを読み込み，「イギリス」に関する記事本文を表示せよ．問題21-29では，ここで抽出した記事本文に対して実行せよ．』

#!/usr/bin/env python
# -*- coding: utf-8 -*-
import json
with open("jawiki-country.json") as f:
    article_json = f.readline()
    while article_json:
        article_dict = json.loads(article_json)
        if article_dict["title"] == "イギリス":
            print(article_dict["text"])
        article_json = f.readline()

#!/usr/bin/env python

# -*- coding: utf-8 -*-

import json

with open("jawiki-country.json") as f:

article_json = f.readline()

while article_json:

article_dict = json.loads(article_json)

if article_dict["title"] == "イギリス":

print(article_dict["text"])

article_json = f.readline()

ファイルを読み込み、一行ずつ処理するところはこれまでもやってきたので問題ないと思います。

ファイルがjson形式なので、json.loads()関数を用いてjson形式に変換しています。

問題はarticle_dict[“title”]==[“イギリス”]の部分です。

どうやらこれは記事内で利用されている、htmlタグを指定するときに利用するらしい。htmlファイルには

実際に

<p>「パタトクカシーー」という文字列の1,3,5,7文字目を取り出して連結した文字列を得よ．</p>

1	<p>「パタトクカシーー」という文字列の1,3,5,7文字目を取り出して連結した文字列を得よ．</p>

みたいな感じでいろいろなタグが使われている。

今回は要するにファイル内の

<title>イギリス</title>

1	<title>イギリス</title>

となっている部分について読むということであろう。

実行結果：

{{redirect|UK}}
{{基礎情報 国
|略名 = イギリス
|日本語国名 = グレートブリテン及び北アイルランド連合王国
|公式国名 = {{lang|en|United Kingdom of Great Britain and Northern Ireland}}<ref>英語以外での正式国名:<br/>
*{{lang|gd|An Rìoghachd Aonaichte na Breatainn Mhòr agus Eirinn mu Thuath}}（[[スコットランド・ゲール語]]）<br/>
*{{lang|cy|Teyrnas Gyfunol Prydain Fawr a Gogledd Iwerddon}}（[[ウェールズ語]]）<br/>
*{{lang|ga|Ríocht Aontaithe na Breataine Móire agus Tuaisceart na hÉireann}}（[[アイルランド語]]）<br/>
*{{lang|kw|An Rywvaneth Unys a Vreten Veur hag Iwerdhon Glédh}}（[[コーンウォール語]]）<br/>
*{{lang|sco|Unitit Kinrick o Great Breetain an Northren Ireland}}（[[スコットランド語]]）<br/>
・
・
・

{{イギリス関連の項目}}
{{ヨーロッパ}}
{{EU}}
{{国連安全保障理事会理事国}}
{{G8}}
{{OECD}}
{{イギリス連邦}}

{{デフォルトソート:いきりす}}
[[Category:イギリス|*]]
[[Category:英連邦王国|*]]
[[Category:G8加盟国]]
[[Category:欧州連合加盟国]]
[[Category:海洋国家]]
[[Category:君主国]]
[[Category:島国|くれいとふりてん]]
[[Category:1801年に設立された州・地域]]

{{基礎情報国

|略名 = イギリス

|日本語国名 = グレートブリテン及び北アイルランド連合王国

|公式国名 = {{lang|en|United Kingdom of Great Britain and Northern Ireland}}<ref>英語以外での正式国名:

*{{lang|gd|An Rìoghachd Aonaichte na Breatainn Mhòr agus Eirinn mu Thuath}}（[[スコットランド・ゲール語]]）

*{{lang|cy|Teyrnas Gyfunol Prydain Fawr a Gogledd Iwerddon}}（[[ウェールズ語]]）

*{{lang|ga|Ríocht Aontaithe na Breataine Móire agus Tuaisceart na hÉireann}}（[[アイルランド語]]）

*{{lang|kw|An Rywvaneth Unys a Vreten Veur hag Iwerdhon Glédh}}（[[コーンウォール語]]）

*{{lang|sco|Unitit Kinrick o Great Breetain an Northren Ireland}}（[[スコットランド語]]）

・

[[Category:イギリス|*]]

[[Category:英連邦王国|*]]

[[Category:G8加盟国]]

[[Category:欧州連合加盟国]]

[[Category:海洋国家]]

[[Category:君主国]]

[[Category:島国|くれいとふりてん]]

[[Category:1801年に設立された州・地域]]

とこんな感じになっていればおっけー。

21. カテゴリ名を含む行を抽出

『記事中でカテゴリ名を宣言している行を抽出せよ．』

#!/usr/bin/env python
# -*- coding: utf-8 -*-
import json
with open("jawiki-country.json") as f:
    article_json = f.readline()
    while article_json:
        article_dict = json.loads(article_json)
        if article_dict["title"] == "イギリス":
            lines = article_dict["text"].split("\n")
            for line in lines:
                if "Category" in line:
                    print(line)
        article_json = f.readline()

#!/usr/bin/env python

# -*- coding: utf-8 -*-

import json

with open("jawiki-country.json") as f:

article_json = f.readline()

while article_json:

article_dict = json.loads(article_json)

if article_dict["title"] == "イギリス":

lines = article_dict["text"].split("\n")

for line in lines:

if "Category" in line:

print(line)

article_json = f.readline()

特に難しい処理はしていないが、自分的には11行目の”Category” in line:のところが気になった。

lineはlinesの時点で文字列として扱われているので”Category”としていきなりif文の中で宣言して構わないみたいだ。

if の条件文で””を使うことがなかったので、慣れないが自然言語処理なら普通のことなのだろう。

実行結果：

[[Category:イギリス|*]]
[[Category:英連邦王国|*]]
[[Category:G8加盟国]]
[[Category:欧州連合加盟国]]
[[Category:海洋国家]]
[[Category:君主国]]
[[Category:島国|くれいとふりてん]]
[[Category:1801年に設立された州・地域]]

[[Category:イギリス|*]]

[[Category:英連邦王国|*]]

[[Category:G8加盟国]]

[[Category:欧州連合加盟国]]

[[Category:海洋国家]]

[[Category:君主国]]

[[Category:島国|くれいとふりてん]]

[[Category:1801年に設立された州・地域]]

for文を使っているためlineがリスト型になってしまうのは否めない。

スポンサードリンク

22. カテゴリ名の抽出

『記事のカテゴリ名を（行単位ではなく名前で）抽出せよ．』

import gzip
import json
import re
fname = 'jawiki-country.json.gz'


def extract_UK():
    '''イギリスに関する記事本文を取得

    戻り値：
    イギリスの記事本文
    '''

    with gzip.open(fname, 'rt') as data_file:
        for line in data_file:
            data_json = json.loads(line)
            if data_json['title'] == 'イギリス':
                return data_json['text']

    raise ValueError('イギリスの記事が見つからない')


# 正規表現のコンパイル
pattern = re.compile(r'''
    ^       # 行頭
    .*      # 任意の文字0文字以上
    \[\[Category:
    (       # キャプチャ対象のグループ開始
    .*?     # 任意の文字0文字以上、非貪欲マッチ（貪欲にすると後半の'|'で始まる装飾を巻き込んでしまう）
    )       # グループ終了
    (?:     # キャプチャ対象外のグループ開始
    \|.*    # '|'に続く0文字以上
    )?      # グループ終了、0か1回の出現
    \]\]
    .*      # 任意の文字0文字以上
    $       # 行末
    ''', re.MULTILINE + re.VERBOSE)

# 抽出
result = pattern.findall(extract_UK())

# 結果表示
for line in result:
    print(line)

import gzip

import json

import re

fname = 'jawiki-country.json.gz'

def extract_UK():

'''イギリスに関する記事本文を取得

戻り値：

イギリスの記事本文

'''

with gzip.open(fname, 'rt') as data_file:

for line in data_file:

data_json = json.loads(line)

if data_json['title'] == 'イギリス':

return data_json['text']

raise ValueError('イギリスの記事が見つからない')

# 正規表現のコンパイル

pattern = re.compile(r'''

^ # 行頭

.* # 任意の文字0文字以上

\[\[Category:

( # キャプチャ対象のグループ開始

.*? # 任意の文字0文字以上、非貪欲マッチ（貪欲にすると後半の'|'で始まる装飾を巻き込んでしまう）

) # グループ終了

(?: # キャプチャ対象外のグループ開始

\|.* # '|'に続く0文字以上

)? # グループ終了、0か1回の出現

\]\]

.* # 任意の文字0文字以上

$ # 行末

''', re.MULTILINE + re.VERBOSE)

# 抽出

result = pattern.findall(extract_UK())

# 結果表示

for line in result:

print(line)

module化しなくてもいけるが、インデントが多くなるのでモジュール化しました。

正規表現を扱うためにreモジュールをインポートします。正規表現とは文字列の並びやパターンを特定するもの。

どんな使い方するのだろうかとかは、こちらの方のサイトを見ていただけるとわかると思います。

ちょっとこれは新しい情報が多すぎて混乱しそうです。そもそもなんでこんなめんどいことしなきゃいけないのか？など聞きたいことは山ほどあります。

compileというコマンドで正規表現パターンを定義してやるぞって意味。

findall()は上で指定した正規表現パターンを（）内の引数から抽出するための関数。

正直なところ^とか. とか意味がわからない。おそらく今回のデータが文章構造になっていて一行ごとに読み込み、処理をするようになっているので行頭を指定してやる必要があるのだと思う。

.*で任意の文字0回以上と指定しています。どんな文字でも何回でもおっけーよってことだと思うが、それ指定する必要ねーじゃんって思ってしまう。

独学の限界を少々感じるが、理解できたらおいおい更新していきます。

23. セクション構造

『記事中に含まれるセクション名とそのレベル（例えば”== セクション名 ==”なら1）を表示せよ．』

import gzip
import json
import re
fname = 'jawiki-country.json.gz'


def extract_UK():
    '''イギリスに関する記事本文を取得

    戻り値：
    イギリスの記事本文
    '''

    with gzip.open(fname, 'rt') as data_file:
        for line in data_file:
            data_json = json.loads(line)
            if data_json['title'] == 'イギリス':
                return data_json['text']

    raise ValueError('イギリスの記事が見つからない')


# 正規表現のコンパイル
# 正規表現のコンパイル
pattern = re.compile(r'''
    ^       # 行頭
    (={2,}) # キャプチャ対象、2個以上の'='
    \s*     # 余分な0個以上の空白（'哲学'や'婚姻'の前後に余分な空白があるので除去）
    (.+?)   # キャプチャ対象、任意の文字が1文字以上、非貪欲（以降の条件の巻き込み防止）
    \s*     # 余分な0個以上の空白
    \1      # 後方参照、1番目のキャプチャ対象と同じ内容
    .*      # 任意の文字が0文字以上
    $       # 行末
    ''', re.MULTILINE + re.VERBOSE)

# 抽出
result = pattern.findall(extract_UK())

# 結果表示
for line in result:
    level = len(line[0]) - 1    # '='の数-1
    print('{indent}{sect}({level})'.format(
        indent='\t' * (level - 1), sect=line[1], level=level))

import gzip

import json

import re

fname = 'jawiki-country.json.gz'

def extract_UK():

'''イギリスに関する記事本文を取得

戻り値：

イギリスの記事本文

'''

with gzip.open(fname, 'rt') as data_file:

for line in data_file:

data_json = json.loads(line)

if data_json['title'] == 'イギリス':

return data_json['text']

raise ValueError('イギリスの記事が見つからない')

# 正規表現のコンパイル

pattern = re.compile(r'''

^ # 行頭

(={2,}) # キャプチャ対象、2個以上の'='

\s* # 余分な0個以上の空白（'哲学'や'婚姻'の前後に余分な空白があるので除去）

(.+?) # キャプチャ対象、任意の文字が1文字以上、非貪欲（以降の条件の巻き込み防止）

\s* # 余分な0個以上の空白

\1 # 後方参照、1番目のキャプチャ対象と同じ内容

.* # 任意の文字が0文字以上

$ # 行末

''', re.MULTILINE + re.VERBOSE)

# 抽出

result = pattern.findall(extract_UK())

# 結果表示

for line in result:

level = len(line[0]) - 1 # '='の数-1

print('{indent}{sect}({level})'.format(

indent='\t' * (level - 1), sect=line[1], level=level))

セクションとは記事の見出しです。第1章とか通常の文章部分よりもでかい文字で書いたりする部分のことです。なのでセクション構造とはその文章の章構成とか目次みたいなもんです。

レベルというのはその章とか目次がどの階層にいるかというのを表したものです。一番上の階層が「１」ということです。

pattern = re.compile(r'''
    ^       # 行頭
    (={2,}) # キャプチャ対象、2個以上の'='
    \s*     # 余分な0個以上の空白（'哲学'や'婚姻'の前後に余分な空白があるので除去）
    (.+?)   # キャプチャ対象、任意の文字が1文字以上、非貪欲（以降の条件の巻き込み防止）
    \s*     # 余分な0個以上の空白
    \1      # 後方参照、1番目のキャプチャ対象と同じ内容
    .*      # 任意の文字が0文字以上
    $       # 行末
    ''', re.MULTILINE + re.VERBOSE)

pattern = re.compile(r'''

^ # 行頭

(={2,}) # キャプチャ対象、2個以上の'='

\s* # 余分な0個以上の空白（'哲学'や'婚姻'の前後に余分な空白があるので除去）

(.+?) # キャプチャ対象、任意の文字が1文字以上、非貪欲（以降の条件の巻き込み防止）

\s* # 余分な0個以上の空白

\1 # 後方参照、1番目のキャプチャ対象と同じ内容

.* # 任意の文字が0文字以上

$ # 行末

''', re.MULTILINE + re.VERBOSE)

正規表現部分は慣れませんが、実際に自分でやった方が早いのでしょう。一発でなんか絶対うまく行かないと思いますが笑

(={2,}) # キャプチャ対象、2個以上の'='

1	(={2,}) # キャプチャ対象、2個以上の'='

の部分はセクション名が==セクション名==という形式で書かれているため、2個以上という意味で2が入ります。もう一個階層が下がると=== サブセクション名===という感じでしょうか。

(.+?)   # キャプチャ対象、任意の文字が1文字以上、非貪欲（以降の条件の

1	(.+?) # キャプチャ対象、任意の文字が1文字以上、非貪欲（以降の条件の

これがないと、例えば

==セクション構造== ===サブセクション=== ====サブサブセクション====みたいな階層構造の場合、最後まで一気に読み込んでしまうということだろうか。？は直前の正規表現で指定したパターンの最小回数（１回）でのマッチングを意味するものなので、次に==が出てきた瞬間とこまでしかマッチングしない。

\1      # 後方参照、1番目のキャプチャ対象と同じ内容

1	\1 # 後方参照、1番目のキャプチャ対象と同じ内容

こちらのサイトを参考にすると理解できそうです。

後方参照というものらしく、終わりと開始が同じパターンならそれを利用して\numberで開始を指定してマッチングさせることができるものらしい。

==　セクション名　==みたいな感じで空白があるものがデータに含まれていたため以下のような空白除去が必要らしい

\s*     # 余分な0個以上の空白

1	\s* # 余分な0個以上の空白

実行結果：

国名(1)
歴史(1)
地理(1)
	気候(2)
政治(1)
外交と軍事(1)
地方行政区分(1)
	主要都市(2)
科学技術(1)
経済(1)
	鉱業(2)
	農業(2)
	貿易(2)
	通貨(2)
	企業(2)
交通(1)
	道路(2)
	鉄道(2)
	海運(2)
	航空(2)
通信(1)
国民(1)
	言語(2)
	宗教(2)
	婚姻(2)
	教育(2)
文化(1)
	食文化(2)
	文学(2)
	哲学(2)
	音楽(2)
		イギリスのポピュラー音楽(3)
	映画(2)
	コメディ(2)
	国花(2)
	世界遺産(2)
	祝祭日(2)
スポーツ(1)
	サッカー(2)
	競馬(2)
	モータースポーツ(2)
脚注(1)
関連項目(1)
外部リンク(1)

国名(1)

歴史(1)

地理(1)

気候(2)

政治(1)

外交と軍事(1)

地方行政区分(1)

主要都市(2)

科学技術(1)

経済(1)

鉱業(2)

農業(2)

貿易(2)

通貨(2)

企業(2)

交通(1)

道路(2)

鉄道(2)

海運(2)

航空(2)

通信(1)

国民(1)

言語(2)

宗教(2)

婚姻(2)

教育(2)

文化(1)

食文化(2)

文学(2)

哲学(2)

音楽(2)

イギリスのポピュラー音楽(3)

映画(2)

コメディ(2)

国花(2)

世界遺産(2)

祝祭日(2)

スポーツ(1)

サッカー(2)

競馬(2)

モータースポーツ(2)

脚注(1)

24. ファイル参照の抽出

『記事から参照されているメディアファイルをすべて抜き出せ．』

# coding: utf-8
import gzip
import json
import re
fname = 'jawiki-country.json.gz'


def extract_UK():
    '''イギリスに関する記事本文を取得

    戻り値：
    イギリスの記事本文
    '''

    with gzip.open(fname, 'rt') as data_file:
        for line in data_file:
            data_json = json.loads(line)
            if data_json['title'] == 'イギリス':
                return data_json['text']

    raise ValueError('イギリスの記事が見つからない')


# 正規表現のコンパイル
pattern = re.compile(r'''
    (?:File|ファイル)   # 非キャプチャ、'File'か'ファイル'
    :
    (.+?)   # キャプチャ対象、任意の文字1文字以上、非貪欲
    \|
    ''', re.VERBOSE)

# 抽出
result = pattern.findall(extract_UK())

# 結果表示
for line in result:
    print(line)

# coding: utf-8

import gzip

import json

import re

fname = 'jawiki-country.json.gz'

def extract_UK():

'''イギリスに関する記事本文を取得

戻り値：

イギリスの記事本文

'''

with gzip.open(fname, 'rt') as data_file:

for line in data_file:

data_json = json.loads(line)

if data_json['title'] == 'イギリス':

return data_json['text']

raise ValueError('イギリスの記事が見つからない')

# 正規表現のコンパイル

pattern = re.compile(r'''

(?:File|ファイル) # 非キャプチャ、'File'か'ファイル'

(.+?) # キャプチャ対象、任意の文字1文字以上、非貪欲

''', re.VERBOSE)

# 抽出

result = pattern.findall(extract_UK())

# 結果表示

for line in result:

print(line)

 (?:File|ファイル)   # 非キャプチャ、'File'か'ファイル'

1	(?:File\|ファイル) # 非キャプチャ、'File'か'ファイル'

メディアファイルが何を意味しているのかわからなかったのですが、jpgとかsvgファイルのことらしいです。そしてそれらのファイルの前にファイルとかfileとか書かれているのでそれを指定する正規表現が上の一行です。

verboseは正規表現を便利に書きやすくするための関数です。公式ドキュメントにも

「パターンの論理的なセクションを視覚的に区切り、コメントも入れることができます。」と書かれています。

今回はこれまでのができていれば簡単にできる問題です。

実行結果：

Royal Coat of Arms of the United Kingdom.svg
Battle of Waterloo 1815.PNG
The British Empire.png
Uk topo en.jpg
BenNevis2005.jpg
Elizabeth II greets NASA GSFC employees, May 8, 2007 edit.jpg
Palace of Westminster, London - Feb 2007.jpg
David Cameron and Barack Obama at the G20 Summit in Toronto.jpg
Soldiers Trooping the Colour, 16th June 2007.jpg
Scotland Parliament Holyrood.jpg
London.bankofengland.arp.jpg
City of London skyline from London City Hall - Oct 2008.jpg
Oil platform in the North SeaPros.jpg
Eurostar at St Pancras Jan 2008.jpg
Heathrow T5.jpg
Anglospeak.svg
CHANDOS3.jpg
The Fabs.JPG
PalaceOfWestminsterAtNight.jpg
Westminster Abbey - West Door.jpg
Edinburgh Cockburn St dsc06789.jpg
Canterbury Cathedral - Portal Nave Cross-spire.jpeg
Kew Gardens Palm House, London - July 2009.jpg
2005-06-27 - United Kingdom - England - London - Greenwich.jpg
Stonehenge2007 07 30.jpg
Yard2.jpg
Durham Kathedrale Nahaufnahme.jpg
Roman Baths in Bath Spa, England - July 2006.jpg
Fountains Abbey view02 2005-08-27.jpg
Blenheim Palace IMG 3673.JPG
Liverpool Pier Head by night.jpg
Hadrian's Wall view near Greenhead.jpg
London Tower (1).JPG
Wembley Stadium, illuminated.jpg

Royal Coat of Arms of the United Kingdom.svg

Battle of Waterloo 1815.PNG

The British Empire.png

Uk topo en.jpg

BenNevis2005.jpg

Elizabeth II greets NASA GSFC employees, May 8, 2007 edit.jpg

Palace of Westminster, London - Feb 2007.jpg

David Cameron and Barack Obama at the G20 Summit in Toronto.jpg

Soldiers Trooping the Colour, 16th June 2007.jpg

Scotland Parliament Holyrood.jpg

London.bankofengland.arp.jpg

City of London skyline from London City Hall - Oct 2008.jpg

Oil platform in the North SeaPros.jpg

Eurostar at St Pancras Jan 2008.jpg

Heathrow T5.jpg

Anglospeak.svg

CHANDOS3.jpg

The Fabs.JPG

PalaceOfWestminsterAtNight.jpg

Westminster Abbey - West Door.jpg

Edinburgh Cockburn St dsc06789.jpg

Canterbury Cathedral - Portal Nave Cross-spire.jpeg

Kew Gardens Palm House, London - July 2009.jpg

2005-06-27 - United Kingdom - England - London - Greenwich.jpg

Stonehenge2007 07 30.jpg

Yard2.jpg

Durham Kathedrale Nahaufnahme.jpg

Roman Baths in Bath Spa, England - July 2006.jpg

Fountains Abbey view02 2005-08-27.jpg

Blenheim Palace IMG 3673.JPG

Liverpool Pier Head by night.jpg

Hadrian's Wall view near Greenhead.jpg

London Tower (1).JPG

Wembley Stadium, illuminated.jpg

とこんな感じです。

次は第３章後半です。

スポンサードリンク

記事が役に立ったらシェア！

Graham Neubigの自然言語処理チュートリアル（第一回）

スポンサードリンク

自然言語処理100本ノックがだんだんと難しくなり、やる気が失せてきたので復習がてらグラムニュービッグさんのチュートリアルに手を出してみることにしました。

全部で１４問あるみたいで、今日はその第一問目です。

「ファイルの中身の文章中に現れる単語の出現頻度をカウントせよ」

ファイル形式（text.txt）は

this is a pen
this pen is my pen

1 2	this is a pen this pen is my pen

です。

解法

ファイルを一行ずつ読み込み、split()で単語にわける
Counter()関数でカウント
counter.most_common()で辞書型にプリント

って感じでしょうか。

とりあえず作ってみた（間違っている）

#!/usr/bin/env python
# -*- coding: utf-8 -*-
from collections import Counter
fp = open("text.txt")
for line in fp:
    sentence = line.split(" ")
    counter = Counter(sentence)
    for word, cnt in counter.most_common():
        print(word,cnt)

#!/usr/bin/env python

# -*- coding: utf-8 -*-

from collections import Counter

fp = open("text.txt")

for line in fp:

sentence = line.split(" ")

counter = Counter(sentence)

for word, cnt in counter.most_common():

print(word,cnt)

実行すると

this 1
is 1
a 1
pen
 1
pen 2
this 1
is 1
my 1

 1

this 1

is 1

a 1

pen

pen 2

this 1

is 1

my 1

なぜかthisが別々にカウントされている。他にも色々おかしい。

a1
is 2 
my 1 
pen 3 
this 2

is 2

my 1

pen 3

this 2

本当は上のようになるはず。

スポンサードリンク

原因

これだと、同じ単語が来てもそれを同じと判断することができずに別々にカウントしてしまう。

同じ行内ならば同じ単語は追加のものとして加算してくれるみたいだが、行が違うと同じ単語でもダメみたいです。

だから、２行目に読み込んだpenは２回にカウントされている。

正解

#!/usr/bin/env python
# -*- coding: utf-8 -*-
from collections import Counter
data = []
fp = open("text.txt")
for line in fp:
    sentence = line.rstrip().split(" ")
    data.extend(sentence)　
    counter = Counter(data)
for word, cnt in counter.most_common():
    print(word,cnt)

#!/usr/bin/env python

# -*- coding: utf-8 -*-

from collections import Counter

data = []

fp = open("text.txt")

for line in fp:

sentence = line.rstrip().split(" ")

data.extend(sentence)　

counter = Counter(data)

for word, cnt in counter.most_common():

print(word,cnt)

実行結果

pen 3
this 2
is 2
a 1
my 1

pen 3

this 2

is 2

a 1

my 1

counter.most_common()はご丁寧に回数の多い順に出力してくれるみたいです。

やはりCounter()関数はかなり使いどころが多いのと、extendの使い方についても知ることができました。appendにして何回も詰まりました笑。

そんなに難しくない問題なのにこの程度で詰まるなんて、まだまだですね。精進します。

以上Graham Neubigさんのチュートリアル第一回目を終わりにします。

スポンサードリンク

記事が役に立ったらシェア！

言語処理100本ノック（第二章後半）

スポンサードリンク

第2章前半の続きです。

第2章UNIXコマンドの基礎

15. 末尾のN行を出力

『自然数Nをコマンドライン引数などの手段で受け取り，入力のうち末尾のN行だけを表示せよ．確認にはtailコマンドを用いよ』

#!/usr/bin/env python
# -*- coding: utf-8 -*-

import sys
hoge = sys.argv[2]
with open(sys.argv[1]) as f:
 lines = f.readlines()
for line in lines[len(lines)-int(hoge):len(lines)]:
 print (line)

#!/usr/bin/env python

# -*- coding: utf-8 -*-

import sys

hoge = sys.argv[2]

with open(sys.argv[1]) as f:

lines = f.readlines()

for line in lines[len(lines)-int(hoge):len(lines)]:

print (line)

ここまでの知識でできる問題です。特に難しくないです。コマンドライン引数で指定した、数字をhogeとして受け取りそれを使うだけです。

実行結果（コマンドライン引数に６を入力した場合）：

$ python ファイル名.py hightemp.txt 6

1	$ python ファイル名.py hightemp.txt 6

千葉県	茂原	39.9	2013年8月11日	○

埼玉県	鳩山	39.9	1997年7月5日	○

大阪府	豊中	39.9	1994年8月8日	○

山梨県	大月	39.9	1990年7月19日	○

山形県	鶴岡	39.9	1978年8月3日	○

愛知県	名古屋  39.9	1942年8月2日	○

千葉県茂原 39.9 2013年8月11日 ○

埼玉県鳩山 39.9 1997年7月5日 ○

大阪府豊中 39.9 1994年8月8日 ○

山梨県大月 39.9 1990年7月19日 ○

山形県鶴岡 39.9 1978年8月3日 ○

愛知県名古屋 39.9 1942年8月2日 ○

UNIXコマンドでの確認：

tail -6 hightemp.txt

1	tail -6 hightemp.txt

数字の前に- をつけましょう。

16. ファイルをN分割する

『自然数Nをコマンドライン引数などの手段で受け取り，入力のファイルを行単位でN分割せよ．同様の処理をsplitコマンドで実現せよ．』

コマンドライン引数を用いない場合：

#!/usr/bin/env python
# -*- coding: utf-8 -*-
import math

fname = 'hightemp.txt'
n = int(input('N--> '))

with open(fname) as data_file:
    lines = data_file.readlines()

count = len(lines)
unit = math.ceil(count / n)  # 1ファイル当たりの行数

for i, offset in enumerate(range(0, count, unit), 1):
    with open('child_{:02d}.txt'.format(i), mode='w') as out_file:
        for line in lines[offset:offset + unit]:
            out_file.write(line)

#!/usr/bin/env python

# -*- coding: utf-8 -*-

import math

fname = 'hightemp.txt'

n = int(input('N--> '))

with open(fname) as data_file:

lines = data_file.readlines()

count = len(lines)

unit = math.ceil(count / n) # 1ファイル当たりの行数

for i, offset in enumerate(range(0, count, unit), 1):

with open('child_{:02d}.txt'.format(i), mode='w') as out_file:

for line in lines[offset:offset + unit]:

out_file.write(line)

input関数は、コマンドラインで入力したデータを文字列として扱うものです。そして入力した文字列をしようし、プログラム内で用いることができます。

math.ceil()は切り上げです。4/3でしたら、1.3333 となり四捨五入なら1となりますが、切り上げなので2になります。

コマンドライン引数を用いる場合：

#!/usr/bin/env python
# -*- coding: utf-8 -*-
import math
import sys
hoge = sys.argv[2]
with open(sys.argv[1]) as f:
    lines = f.readlines()
count = len(lines)
unit = math.ceil(count / int(hoge))  # 1ファイル当たりの行数
for i, offset in enumerate(range(0, count, unit), 1):
    with open('child_{:02d}.txt'.format(i), mode='w') as out_file:
        for line in lines[offset:offset + unit]:
            out_file.write(line)

#!/usr/bin/env python

# -*- coding: utf-8 -*-

import math

import sys

hoge = sys.argv[2]

with open(sys.argv[1]) as f:

lines = f.readlines()

count = len(lines)

unit = math.ceil(count / int(hoge)) # 1ファイル当たりの行数

for i, offset in enumerate(range(0, count, unit), 1):

with open('child_{:02d}.txt'.format(i), mode='w') as out_file:

for line in lines[offset:offset + unit]:

out_file.write(line)

ファイル分割数を２番目のコマンドライン引数で入力した場合のやり方です。

分割の入力方法が異なるので、unitの指定の仕方が少し異なるだけです。これまでの知識のみで書けます。

実行結果（分割数が4の場合）：

$python ファイル名.py hightemp.txt 4

1	$python ファイル名.py hightemp.txt 4

上を実行すると、child_0*のファイルが作成されます。ここでは４分割されたファイルのうち一つのファイルの中身を示します。

unitで計算している通り、行数が (hightemp.txtの行数/分割数)になっていれば良いはずです。

高知県	江川崎	41.0	2013年8月12日	○
埼玉県	熊谷 	40.9	2007年8月16日	○
岐阜県	多治見	40.9	2007年8月16日	○
山形県	山形 	40.8	1933年7月25日	○
山梨県	甲府 	40.7	2013年8月10日	○
和歌山 かつらぎ  40.6  1994年8月8日	○

高知県江川崎 41.0 2013年8月12日 ○

埼玉県熊谷 40.9 2007年8月16日 ○

岐阜県多治見 40.9 2007年8月16日 ○

山形県山形 40.8 1933年7月25日 ○

山梨県甲府 40.7 2013年8月10日 ○

和歌山かつらぎ 40.6 1994年8月8日 ○

24/4=6なので成功です。

UNIXコマンドでの確認：

split -l 4 hightemp.txt out.

1	split -l 4 hightemp.txt out.

out.*でファイルが作成されます。

注意しなければならないのは、ここでの4は分割数ではなくsplitの数（何行ごとに分割するかの数）なので、24/4=6となり、ファイルが6つ作成されるはずです。

17. １列目の文字列の異なり

『1列目の文字列の種類（異なる文字列の集合）を求めよ．確認にはsort, uniqコマンドを用いよ．』

#!/usr/bin/env python
# -*- coding: utf-8 -*-
hoge = set()
with open('hightemp.txt', 'r') as f:
    for line in f:
        elements = line.rstrip().split('\t')
        for line in elements[0]:
            hoge.add(elements[0])
print(hoge)

#!/usr/bin/env python

# -*- coding: utf-8 -*-

hoge = set()

with open('hightemp.txt', 'r') as f:

for line in f:

elements = line.rstrip().split('\t')

for line in elements[0]:

hoge.add(elements[0])

print(hoge)

最初まず問題の意味を理解するのに苦労しました笑。要するに24つのデータのうち、何県のデータかということです。県がダブっているデータもあるので、そういうのをダブりでカウントしないようにするにはどうすれば良いかということです。

set()コマンドで一発。そうすることで、list型のデータが集合型に置き替わります。

データを集合として扱う場合,このsetコマンドはかなり重宝されます。

実行結果：

{'高知県', '愛知県', '愛媛県', '埼玉県', '静岡県', '山形県', '群馬県', '大阪府', '千葉県', '和歌山 かつらぎ  40.6  1994年8月8日', '岐阜県', '山梨県'}

1	{'高知県', '愛知県', '愛媛県', '埼玉県', '静岡県', '山形県', '群馬県', '大阪府', '千葉県', '和歌山かつらぎ 40.6 1994年8月8日', '岐阜県', '山梨県'}

相変わらず和歌山県のところだけおかしいですが、hightemp.txtの問題なので、無視します笑

UNIXコマンドでの確認：

cut -f 1 hightemp.txt | sort |  uniq

1	cut -f 1 hightemp.txt \| sort \| uniq

uniqは連続して重複している行を一つにまとまるコマンドで、sortは辞書順に並び替えてくれるものです。

離れたデータの重複を一つにまとめる時は両方を組み合わせます。二つのコマンドを組み合すことで、かなり便利なものになりますね。

スポンサードリンク

18. 各行を3コラム目の数値の降順にソート

『各行を3コラム目の数値の逆順で整列せよ（注意: 各行の内容は変更せずに並び替えよ）．確認にはsortコマンドを用いよ（この問題はコマンドで実行した時の結果と合わなくてもよい）』

#!/usr/bin/env python
# -*- coding: utf-8 -*-
import sys
with open(sys.argv[1]) as f:
    lines = f.readlines()
for line in sorted(lines, key=lambda x: x.split()[2], reverse=True):
    print (line)

#!/usr/bin/env python

# -*- coding: utf-8 -*-

import sys

with open(sys.argv[1]) as f:

lines = f.readlines()

for line in sorted(lines, key=lambda x: x.split()[2], reverse=True):

print (line)

温度の高い順にデータを並び替えろということです。

無名関数（lambda）を使っています。

無名関数は「その場限りの関数」で自在に使えればかなり柔軟なプログラムがかけます。

オーダーメイドのスーツを作っても、自分以外の人にとっては無意味なイメージです。ただし、自分にとってはちょーぜつ大事ですよね。

sorted()でデータを並び替えますが、その並び替え方をlambdaを使って指定しています。

数学チックに説明すると、xは変数です。このxにいろんな値が入ります。今なら各行のデータです。1行目も、2行目も、3行目もこの.split()[2]を使います、という意味です。

.split()[2]はこれまでの知識で理解できますね。分割したデータ集合のうち3番目のデータ（list型は０から始まります。）、すなわち温度のデータに注目してデータを sort（並び替えましょう）という意味です。

最後に「数値の逆順」と言っているので、reverse=Trueと書きます。

実行結果：

高知県	江川崎	41.0	2013年8月12日	○

埼玉県	熊谷 	40.9	2007年8月16日	○

岐阜県	多治見	40.9	2007年8月16日	○

山形県	山形 	40.8	1933年7月25日	○

山梨県	甲府 	40.7	2013年8月10日	○

和歌山 かつらぎ  40.6  1994年8月8日	○

静岡県	天竜  40.6	1994年8月4日	○

山梨県	勝沼	40.5	2013年8月10日	○

埼玉県	越谷	40.4	2007年8月16日	○

群馬県	館林	40.3	2007年8月16日	○

群馬県	上里見	40.3	1998年7月4日	○

愛知県	愛西	40.3	1994年8月5日	○

千葉県	牛久	40.2	2004年7月20日	○

静岡県	佐久間	40.2	2001年7月24日	○

愛媛県	宇和島 	40.2	1927年7月22日	○

山形県	酒田 	40.1	1978年8月3日	○

岐阜県	美濃	40.0	2007年8月16日	○

群馬県	前橋 	40.0	2001年7月24日	○

千葉県	茂原	39.9	2013年8月11日	○

埼玉県	鳩山	39.9	1997年7月5日	○

大阪府	豊中	39.9	1994年8月8日	○

山梨県	大月	39.9	1990年7月19日	○

山形県	鶴岡	39.9	1978年8月3日	○

愛知県	名古屋  39.9	1942年8月2日	○

高知県江川崎 41.0 2013年8月12日 ○

埼玉県熊谷 40.9 2007年8月16日 ○

岐阜県多治見 40.9 2007年8月16日 ○

山形県山形 40.8 1933年7月25日 ○

山梨県甲府 40.7 2013年8月10日 ○

和歌山かつらぎ 40.6 1994年8月8日 ○

静岡県天竜 40.6 1994年8月4日 ○

山梨県勝沼 40.5 2013年8月10日 ○

埼玉県越谷 40.4 2007年8月16日 ○

群馬県館林 40.3 2007年8月16日 ○

群馬県上里見 40.3 1998年7月4日 ○

愛知県愛西 40.3 1994年8月5日 ○

千葉県牛久 40.2 2004年7月20日 ○

静岡県佐久間 40.2 2001年7月24日 ○

愛媛県宇和島 40.2 1927年7月22日 ○

山形県酒田 40.1 1978年8月3日 ○

岐阜県美濃 40.0 2007年8月16日 ○

群馬県前橋 40.0 2001年7月24日 ○

千葉県茂原 39.9 2013年8月11日 ○

埼玉県鳩山 39.9 1997年7月5日 ○

大阪府豊中 39.9 1994年8月8日 ○

山梨県大月 39.9 1990年7月19日 ○

山形県鶴岡 39.9 1978年8月3日 ○

愛知県名古屋 39.9 1942年8月2日 ○

温度の高い順になっているのがわかります。

UNIXコマンドでの確認：

sort -r -k 3 hightemp.txt

1	sort -r -k 3 hightemp.txt

pythonプログラムと実行結果が異なると思います。

19. 各行の1コラム目の文字列の出現頻度を求め，出現頻度の高い順に並べる

『各行の1列目の文字列の出現頻度を求め，その高い順に並べて表示せよ．確認にはcut, uniq, sortコマンドを用いよ．』

#!/usr/bin/env python
# -*- coding: utf-8 -*-
from collections import Counter
hoge = []
with open('hightemp.txt', 'r') as f:
    for line in f:
        elements = line.rstrip().split('\t')
        hoge.append(elements[0])
counter = Counter(hoge)
for word, cnt in counter.most_common():
    print (word, cnt)

#!/usr/bin/env python

# -*- coding: utf-8 -*-

from collections import Counter

hoge = []

with open('hightemp.txt', 'r') as f:

for line in f:

elements = line.rstrip().split('\t')

hoge.append(elements[0])

counter = Counter(hoge)

for word, cnt in counter.most_common():

print (word, cnt)

listデータの出現回数を求めるのはcollectionsライブラリのCounter()コマンドで数えることが可能です。

単語と単語の出現回数を表示させるにはcounterに格納されているデータを用いるのですが、その際に.most_common()という引数を用います。決まり文句として覚えて構わないでしょう。

出力するのは単語（県名）とその出現数なので、for文の変数を二つ指定します。

実行結果：

埼玉県 3
山形県 3
山梨県 3
群馬県 3
岐阜県 2
静岡県 2
愛知県 2
千葉県 2
高知県 1
和歌山 かつらぎ  40.6  1994年8月8日 1
愛媛県 1
大阪府 1

埼玉県 3

山形県 3

山梨県 3

群馬県 3

岐阜県 2

静岡県 2

愛知県 2

千葉県 2

高知県 1

和歌山かつらぎ 40.6 1994年8月8日 1

愛媛県 1

大阪府 1

UNIXコマンドでの確認：

cut -f 1 hightemp.txt | sort | uniq -c | sort -r

1	cut -f 1 hightemp.txt \| sort \| uniq -c \| sort -r

uniq -c で重複行をカウントしてくれるみたいです。

| sort -r なしで実行すると、カウントはしてくれますが、出現回数の多い順に並び替えされないので、いります。

最初のsortはあくまでuniqで重複行をカウントするためのものです。（uniqは縦に連続したデータの重複を数えるから。県名が同じでも離れたデータであれば、別に別にカウントしてしまいます。）

以上で2章は終了です。続きはこちら→３章前半！

スポンサードリンク

記事が役に立ったらシェア！

言語処理100本ノック（第2章前半）

スポンサードリンク

第１章の続きです。

第2章UNIXコマンドの基礎

『hightemp.txtは，日本の最高気温の記録を「都道府県」「地点」「℃」「日」のタブ区切り形式で格納したファイルである．以下の処理を行うプログラムを作成し，hightemp.txtを入力ファイルとして実行せよ．さらに，同様の処理をUNIXコマンドでも実行し，プログラムの実行結果を確認せよ．』

hightemp.txt の中身は以下です。

高知県	江川崎	41.0	2013年8月12日	○
埼玉県	熊谷 	40.9	2007年8月16日	○
岐阜県	多治見	40.9	2007年8月16日	○
山形県	山形 	40.8	1933年7月25日	○
山梨県	甲府 	40.7	2013年8月10日	○
和歌山 かつらぎ  40.6  1994年8月8日	○
静岡県	天竜	40.6	1994年8月4日	○
山梨県	勝沼	40.5	2013年8月10日	○
埼玉県	越谷	40.4	2007年8月16日	○
群馬県	館林	40.3	2007年8月16日	○
群馬県	上里見	40.3	1998年7月4日	○
愛知県	愛西	40.3	1994年8月5日	○
千葉県	牛久	40.2	2004年7月20日	○
静岡県	佐久間	40.2	2001年7月24日	○
愛媛県	宇和島 	40.2	1927年7月22日	○
山形県	酒田 	40.1	1978年8月3日	○
岐阜県	美濃	40.0	2007年8月16日	○
群馬県	前橋 	40.0	2001年7月24日	○
千葉県	茂原	39.9	2013年8月11日	○
埼玉県	鳩山	39.9	1997年7月5日	○
大阪府	豊中	39.9	1994年8月8日	○
山梨県	大月	39.9	1990年7月19日	○
山形県	鶴岡	39.9	1978年8月3日	○
愛知県	名古屋  39.9	1942年8月2日	○

高知県江川崎 41.0 2013年8月12日 ○

埼玉県熊谷 40.9 2007年8月16日 ○

岐阜県多治見 40.9 2007年8月16日 ○

山形県山形 40.8 1933年7月25日 ○

山梨県甲府 40.7 2013年8月10日 ○

和歌山かつらぎ 40.6 1994年8月8日 ○

静岡県天竜 40.6 1994年8月4日 ○

山梨県勝沼 40.5 2013年8月10日 ○

埼玉県越谷 40.4 2007年8月16日 ○

群馬県館林 40.3 2007年8月16日 ○

群馬県上里見 40.3 1998年7月4日 ○

愛知県愛西 40.3 1994年8月5日 ○

千葉県牛久 40.2 2004年7月20日 ○

静岡県佐久間 40.2 2001年7月24日 ○

愛媛県宇和島 40.2 1927年7月22日 ○

山形県酒田 40.1 1978年8月3日 ○

岐阜県美濃 40.0 2007年8月16日 ○

群馬県前橋 40.0 2001年7月24日 ○

千葉県茂原 39.9 2013年8月11日 ○

埼玉県鳩山 39.9 1997年7月5日 ○

大阪府豊中 39.9 1994年8月8日 ○

山梨県大月 39.9 1990年7月19日 ○

山形県鶴岡 39.9 1978年8月3日 ○

愛知県名古屋 39.9 1942年8月2日 ○

10. 行数のカウント

『行数をカウントせよ．確認にはwcコマンドを用いよ．』

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# 10.py

import sys

f = open(sys.argv[1])
lines = f.readlines()
print(len(lines))
f.close()

#!/usr/bin/env python

# -*- coding: utf-8 -*-

# 10.py

import sys

f = open(sys.argv[1])

lines = f.readlines()

print(len(lines))

f.close()

プログラムを実行するときに引数を渡すことができます。これをコマンドライン引数と言います。

sys.argv[]でコマンドライン引数を取得できます。ついでに引数が０は実行ファイル名が入ることに注意。

実行結果：

24

UNIXコマンドでの確認：

grep -c '' hightemp.txt

1	grep -c '' hightemp.txt

単純に行数を数えるだけならば、「wc -l　ファイル名」　の方が早いらしい。

11. タブをスペースに置換

『タブ1文字につきスペース1文字に置換せよ．確認にはsedコマンド，trコマンド，もしくはexpandコマンドを用いよ』

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# 11.py

import sys

with open(sys.argv[1]) as f:
    str = f.read()

print(str.replace("\t", " "))

#!/usr/bin/env python

# -*- coding: utf-8 -*-

# 11.py

import sys

with open(sys.argv[1]) as f:

str = f.read()

print(str.replace("\t", " "))

replaceというコマンドを用いるだけ。便利ですね！

実行結果：

高知県 江川崎 41.0 2013年8月12日 ○
埼玉県 熊谷  40.9 2007年8月16日 ○
岐阜県 多治見 40.9 2007年8月16日 ○
山形県 山形  40.8 1933年7月25日 ○
山梨県 甲府  40.7 2013年8月10日 ○
和歌山 かつらぎ  40.6  1994年8月8日 ○
静岡県 天竜 40.6 1994年8月4日 ○
山梨県 勝沼 40.5 2013年8月10日 ○
埼玉県 越谷 40.4 2007年8月16日 ○
群馬県 館林 40.3 2007年8月16日 ○
群馬県 上里見 40.3 1998年7月4日 ○
愛知県 愛西 40.3 1994年8月5日 ○
千葉県 牛久 40.2 2004年7月20日 ○
静岡県 佐久間 40.2 2001年7月24日 ○
愛媛県 宇和島  40.2 1927年7月22日 ○
山形県 酒田  40.1 1978年8月3日 ○
岐阜県 美濃 40.0 2007年8月16日 ○
群馬県 前橋  40.0 2001年7月24日 ○
千葉県 茂原 39.9 2013年8月11日 ○
埼玉県 鳩山 39.9 1997年7月5日 ○
大阪府 豊中 39.9 1994年8月8日 ○
山梨県 大月 39.9 1990年7月19日 ○
山形県 鶴岡 39.9 1978年8月3日 ○
愛知県 名古屋  39.9 1942年8月2日 ○

高知県江川崎 41.0 2013年8月12日 ○

埼玉県熊谷 40.9 2007年8月16日 ○

岐阜県多治見 40.9 2007年8月16日 ○

山形県山形 40.8 1933年7月25日 ○

山梨県甲府 40.7 2013年8月10日 ○

和歌山かつらぎ 40.6 1994年8月8日 ○

静岡県天竜 40.6 1994年8月4日 ○

山梨県勝沼 40.5 2013年8月10日 ○

埼玉県越谷 40.4 2007年8月16日 ○

群馬県館林 40.3 2007年8月16日 ○

群馬県上里見 40.3 1998年7月4日 ○

愛知県愛西 40.3 1994年8月5日 ○

千葉県牛久 40.2 2004年7月20日 ○

静岡県佐久間 40.2 2001年7月24日 ○

愛媛県宇和島 40.2 1927年7月22日 ○

山形県酒田 40.1 1978年8月3日 ○

岐阜県美濃 40.0 2007年8月16日 ○

群馬県前橋 40.0 2001年7月24日 ○

千葉県茂原 39.9 2013年8月11日 ○

埼玉県鳩山 39.9 1997年7月5日 ○

大阪府豊中 39.9 1994年8月8日 ○

山梨県大月 39.9 1990年7月19日 ○

山形県鶴岡 39.9 1978年8月3日 ○

愛知県名古屋 39.9 1942年8月2日 ○

UNIXコマンドでの確認：

sed -e s/$'\t'/" "/g hightemp.txt

1	sed -e s/$'\t'/" "/g hightemp.txt

12. 1列目をcol1.txtに，2列目をcol2.txtに保存

『各行の1列目だけを抜き出したものをcol1.txtに，2列目だけを抜き出したものをcol2.txtとしてファイルに保存せよ．確認にはcutコマンドを用いよ．』

#!/usr/bin/env python
# -*- coding: utf-8 -*-

with open('hightemp.txt', 'r') as f:
    for line in f:
        elements = line.rstrip().split('\t')
        for line in elements[0:1]:
            with open('col1.txt', 'a') as  f:
                f.write(line + '\n')
        for line in elements[1:2]:
            with open('col2.txt', 'a') as  f:
                f.write(line + '\n') # 文字列の最後に改行を加えて1行ずつ書き込み

#!/usr/bin/env python

# -*- coding: utf-8 -*-

with open('hightemp.txt', 'r') as f:

for line in f:

elements = line.rstrip().split('\t')

for line in elements[0:1]:

with open('col1.txt', 'a') as f:

f.write(line + '\n')

for line in elements[1:2]:

with open('col2.txt', 'a') as f:

f.write(line + '\n') # 文字列の最後に改行を加えて1行ずつ書き込み

特に難しいことはしてないです。ファイルをopenし１行ずつ読み込み、0番目（左から１列目）の要素と1番目（左から２列目）の要素だけファイルに書き込むように書いています。zip関数とか使ったらもう少し簡潔にかけそうです。

実行結果：

col1.txt

高知県
埼玉県
岐阜県
山形県
山梨県
和歌山 かつらぎ  40.6  1994年8月8日
静岡県
山梨県
埼玉県
群馬県
群馬県
愛知県
千葉県
静岡県
愛媛県
山形県
岐阜県
群馬県
千葉県
埼玉県
大阪府
山梨県
山形県
愛知県

高知県

埼玉県

岐阜県

山形県

山梨県

和歌山かつらぎ 40.6 1994年8月8日

静岡県

山梨県

埼玉県

群馬県

愛知県

千葉県

静岡県

愛媛県

山形県

岐阜県

群馬県

千葉県

埼玉県

大阪府

山梨県

山形県

愛知県

col2.txt

江川崎
熊谷 
多治見
山形 
甲府 
○
天竜
勝沼
越谷
館林
上里見
愛西
牛久
佐久間
宇和島 
酒田 
美濃
前橋 
茂原
鳩山
豊中
大月
鶴岡
名古屋  39.9

江川崎

熊谷

多治見

山形

甲府

○

天竜

勝沼

越谷

館林

上里見

愛西

牛久

佐久間

宇和島

酒田

美濃

前橋

茂原

鳩山

豊中

大月

鶴岡

名古屋 39.9

いくつかおかしな箇所がありますが、おそらくhightemp.txtの形式に問題があり、プログラムの問題ではないでしょう。

UNIXコマンドでの確認：

cut -f 2 hightemp.txt
cut -f 1 hightemp.txt

1 2	cut -f 2 hightemp.txt cut -f 1 hightemp.txt

スポンサードリンク

13. col1.txtとcol2.txtをマージ

『12で作ったcol1.txtとcol2.txtを結合し，元のファイルの1列目と2列目をタブ区切りで並べたテキストファイルを作成せよ．確認にはpasteコマンドを用いよ．』

#!/usr/bin/env python
# -*- coding: utf-8 -*-

with open("col1.txt") as f1, open("col2.txt") as f2:
    lines1, lines2 = f1.readlines(), f2.readlines()
    print(lines1)
with open("merge.txt", "w") as writer:
    for col1, col2 in zip(lines1, lines2):
        writer.write("\t".join([col1.rstrip(), col2]))

#!/usr/bin/env python

# -*- coding: utf-8 -*-

with open("col1.txt") as f1, open("col2.txt") as f2:

lines1, lines2 = f1.readlines(), f2.readlines()

print(lines1)

with open("merge.txt", "w") as writer:

for col1, col2 in zip(lines1, lines2):

writer.write("\t".join([col1.rstrip(), col2]))

これはだいぶ手こずりました笑。まずopenにこんな使い方があるのを知らなかったのと、readline()もこんな風に使えるなんて知りませんでした。

あとはちょくちょく出てくるzip関数ですね笑とりあえず、二つ配列やらリスト型のデータがあって、二つに同様のfor文処理をさせる時は『zip』って覚えますかね。

実行結果：

高知県	江川崎
埼玉県	熊谷 
岐阜県	多治見
山形県	山形 
山梨県	甲府 
和歌山 かつらぎ  40.6  1994年8月8日	○
静岡県	天竜
山梨県	勝沼
埼玉県	越谷
群馬県	館林
群馬県	上里見
愛知県	愛西
千葉県	牛久
静岡県	佐久間
愛媛県	宇和島 
山形県	酒田 
岐阜県	美濃
群馬県	前橋 
千葉県	茂原
埼玉県	鳩山
大阪府	豊中
山梨県	大月
山形県	鶴岡
愛知県	名古屋  39.9

高知県江川崎

埼玉県熊谷

岐阜県多治見

山形県山形

山梨県甲府

和歌山かつらぎ 40.6 1994年8月8日 ○

静岡県天竜

山梨県勝沼

埼玉県越谷

群馬県館林

群馬県上里見

愛知県愛西

千葉県牛久

静岡県佐久間

愛媛県宇和島

山形県酒田

岐阜県美濃

群馬県前橋

千葉県茂原

埼玉県鳩山

大阪府豊中

山梨県大月

山形県鶴岡

愛知県名古屋 39.9

UNIXコマンドでの確認：

paste col1.txt col2.txt

1	paste col1.txt col2.txt

14. 先頭からN行を出力

『自然数Nをコマンドライン引数などの手段で受け取り，入力のうち先頭のN行だけを表示せよ．確認にはheadコマンドを用いよ』

#!/usr/bin/env python
# -*- coding: utf-8 -*-

import sys
hoge = sys.argv[2]
with open(sys.argv[1]) as f:
    lines = f.readlines()
for line in lines[:int(hoge)]:
    print (line)

#!/usr/bin/env python

# -*- coding: utf-8 -*-

import sys

hoge = sys.argv[2]

with open(sys.argv[1]) as f:

lines = f.readlines()

for line in lines[:int(hoge)]:

print (line)

コマンドライン引数と言っているので、sys.argv[]を使います。

問題はコマンドライン引数で取得した数値（文字列）をどうやって数値（数字）として読み込むかですね。８行目のようなint(”数値”)でいけます。

実行結果：第二引数にN = 5を入力した場合

高知県	江川崎	41.0	2013年8月12日	○

埼玉県	熊谷 	40.9	2007年8月16日	○

岐阜県	多治見	40.9	2007年8月16日	○

山形県	山形 	40.8	1933年7月25日	○

山梨県	甲府 	40.7	2013年8月10日	○

高知県江川崎 41.0 2013年8月12日 ○

埼玉県熊谷 40.9 2007年8月16日 ○

岐阜県多治見 40.9 2007年8月16日 ○

山形県山形 40.8 1933年7月25日 ○

山梨県甲府 40.7 2013年8月10日 ○

UNIXコマンドでの確認：

head -5 hightemp.txt

1	head -5 hightemp.txt

以上で2章の前半は終了です。続きはこちら→２章後半！

スポンサードリンク

記事が役に立ったらシェア！

言語処理100本ノック（第1章）

スポンサードリンク

最近、自然言語処理の勉強を始めたので、東北大学のある教授？が作成した１００本ノックをやってみることにしました。

00. 文字列の逆順

「文字列”stressed”の文字を逆に（末尾から先頭に向かって）並べた文字列を得よ．」

#!/usr/bin/env python
# -*- coding: utf-8 -*-
str = "stressed"
print(str[::-1])

#!/usr/bin/env python

# -*- coding: utf-8 -*-

str = "stressed"

print(str[::-1])

特に難しいことはないです。strの引数を[::-1]とすることに注意。

実行結果：

desserts

desserts

01. 「パタトクカシーー」

『「パタトクカシーー」という文字列の1,3,5,7文字目を取り出して連結した文字列を得よ．』

#!/usr/bin/env python
# -*- coding: utf-8 -*-

str = "パタトクカシーー"
slice = str[0::2]
print(slice)

#!/usr/bin/env python

# -*- coding: utf-8 -*-

str = "パタトクカシーー"

slice = str[0::2]

print(slice)

配列の要素番号は０から始まることに注意です。strの最後の「２」は２つおきに（奇数なので）、[0,2,4,…]ということです。

実行結果：

パトカー

パトカー

02. 「パトカー」＋「タクシー」＝「パタトクカシーー」

『「パトカー」＋「タクシー」の文字を先頭から交互に連結して文字列「パタトクカシーー」を得よ．』

#!/usr/bin/env python
# -*- coding: utf-8 -*-


str1 = list("パトカー")
str2 = list("タクシー")
s ="".join(a+b for (a, b) in zip("パトカー", "タクシー"))  #list1,list2を同時にループ
print(s)

#!/usr/bin/env python

# -*- coding: utf-8 -*-

str1 = list("パトカー")

str2 = list("タクシー")

s ="".join(a+b for (a, b) in zip("パトカー", "タクシー")) #list1,list2を同時にループ

print(s)

自分はzip関数というものを知らなかったので、だいぶ手こずりました笑。どうやら二つのリストの要素ごとに、同時にfor文で回せるようです。

これを知らなかったので、自分は二つのfor文を書き無駄にてこづっていました。

実行結果：

パタトクカシーー

パタトクカシーー

03. 円周率

『”Now I need a drink, alcoholic of course, after the heavy lectures involving quantum mechanics.”という文を単語に分解し，各単語の（アルファベットの）文字数を先頭から出現順に並べたリストを作成せよ．』

#!/usr/bin/env python
# -*- coding: utf-8 -*-


hoge = "Now I need a drink, alcoholic of course, after the heavy lectures involving quantum mechanics."
huga = hoge.split(" ")
print(huga)
uga = []
for i in huga:
    uga.append(len(i))
print(uga)

#!/usr/bin/env python

# -*- coding: utf-8 -*-

hoge = "Now I need a drink, alcoholic of course, after the heavy lectures involving quantum mechanics."

huga = hoge.split(" ")

print(huga)

uga = []

for i in huga:

uga.append(len(i))

print(uga)

スペースキーでsplitしたいときは、split(” “)ですね。ついでにタブでsplitしたいときは、split(“\t”)です。

実行結果：

['Now', 'I', 'need', 'a', 'drink,', 'alcoholic', 'of', 'course,', 'after', 'the', 'heavy', 'lectures', 'involving', 'quantum', 'mechanics.']
[3, 1, 4, 1, 6, 9, 2, 7, 5, 3, 5, 8, 9, 7, 10]

1 2	['Now', 'I', 'need', 'a', 'drink,', 'alcoholic', 'of', 'course,', 'after', 'the', 'heavy', 'lectures', 'involving', 'quantum', 'mechanics.'] [3, 1, 4, 1, 6, 9, 2, 7, 5, 3, 5, 8, 9, 7, 10]

04. 元素記号

『”Hi He Lied Because Boron Could Not Oxidize Fluorine. New Nations Might Also Sign Peace Security Clause. Arthur King Can.”という文を単語に分解し，1, 5, 6, 7, 8, 9, 15, 16, 19番目の単語は先頭の1文字，それ以外の単語は先頭に2文字を取り出し，取り出した文字列から単語の位置（先頭から何番目の単語か）への連想配列（辞書型もしくはマップ型）を作成せよ．』

#!/usr/bin/env python
# -*- coding: utf-8 -*-

num_first_only = (0, 4, 5, 6, 7, 8, 14, 15, 18)
hoge = "Hi He Lied Because Boron Could Not Oxidize Fluorine. New Nations Might Also Sign Peace Security Clause. Arthur King Can."
huga = hoge.split(" ")

result = {}
for (num, word) in enumerate(huga):
    if num in num_first_only:
        result[word[0:1]] = num
    else:
        result[word[0:2]] = num
print(result)

#!/usr/bin/env python

# -*- coding: utf-8 -*-

num_first_only = (0, 4, 5, 6, 7, 8, 14, 15, 18)

hoge = "Hi He Lied Because Boron Could Not Oxidize Fluorine. New Nations Might Also Sign Peace Security Clause. Arthur King Can."

huga = hoge.split(" ")

result = {}

for (num, word) in enumerate(huga):

if num in num_first_only:

result[word[0:1]] = num

else:

result[word[0:2]] = num

print(result)

連想配列を作成する方法はいくつかありますが、今回は辞書型と言われているので、ループする際にインデックスつきで要素を得られるenumurate（ループする際にインデックスつきで要素を得ることができる）を用いれば良いです。

for 文の引数を指定するときに、単語のnumberと単語自身のnum,word と二つ指定しなければいけないことに注意。このforの後に二つの引数を使うタイプに慣れていないです笑

実行結果：

{'H': 0, 'He': 1, 'Li': 2, 'Be': 3, 'B': 4, 'C': 5, 'N': 6, 'O': 7, 'F': 8, 'Ne': 9, 'Na': 10, 'Mi': 11, 'Al': 12, 'Si': 13, 'P': 14, 'S': 15, 'Cl': 16, 'Ar': 17, 'K': 18, 'Ca': 19}

1	{'H': 0, 'He': 1, 'Li': 2, 'Be': 3, 'B': 4, 'C': 5, 'N': 6, 'O': 7, 'F': 8, 'Ne': 9, 'Na': 10, 'Mi': 11, 'Al': 12, 'Si': 13, 'P': 14, 'S': 15, 'Cl': 16, 'Ar': 17, 'K': 18, 'Ca': 19}

スポンサードリンク

05. n-gram

『与えられたシーケンス（文字列やリストなど）からn-gramを作る関数を作成せよ．この関数を用い，”I am an NLPer”という文から単語bi-gram，文字bi-gramを得よ．』

#!/usr/bin/env python
# -*- coding: utf-8 -*-

def ngram(nlp,hoge):
    box = []
    for i in range(0,len(hoge)-nlp+1):
        box.append(hoge[i:nlp+i])
    return box
    
hoge = "I am an NLPer"
words_hoge = hoge.split(" ")

#単語バイグラム
box = ngram(2,words_hoge)
print(box)
#文字バイグラム
box = ngram(2,hoge)
print(box)

#!/usr/bin/env python

# -*- coding: utf-8 -*-

def ngram(nlp,hoge):

box = []

for i in range(0,len(hoge)-nlp+1):

box.append(hoge[i:nlp+i])

return box

hoge = "I am an NLPer"

words_hoge = hoge.split(" ")

#単語バイグラム

box = ngram(2,words_hoge)

print(box)

#文字バイグラム

box = ngram(2,hoge)

print(box)

バイグラム以外のngramを一瞬で解析できます。ngram()の引数を変えるだけですね。

ついでにこの場合の文字バイグラムは空白（スペース）も一文字としてカウントしています。実行結果を見てもらえればわかると思います。

実行結果：

[['I', 'am'], ['am', 'an'], ['an', 'NLPer']]
['I ', ' a', 'am', 'm ', ' a', 'an', 'n ', ' N', 'NL', 'LP', 'Pe', 'er']

1 2	[['I', 'am'], ['am', 'an'], ['an', 'NLPer']] ['I ', ' a', 'am', 'm ', ' a', 'an', 'n ', ' N', 'NL', 'LP', 'Pe', 'er']

06. 集合

『”paraparaparadise”と”paragraph”に含まれる文字bi-gramの集合を，それぞれ, XとYとして求め，XとYの和集合，積集合，差集合を求めよ．さらに，’se’というbi-gramがXおよびYに含まれるかどうかを調べよ．』

#!/usr/bin/env python
# -*- coding: utf-8 -*-


def ngram(nlp,hoge):
    box = []
    for i in range(0,len(hoge)-nlp+1):
        box.append(hoge[i:nlp+i])
    return box

hoge1 = "paraparaparadise"
hoge2 = "paragraph"
box = ngram(2,hoge1)
X = box
box = ngram(2,hoge2)
Y = box
X_set = set(X)
Y_set = set(Y)
print(X)
print(Y)
print ("se" in X) # in: X に "se" が含まれていれば True, いなければ False
print ("se" in Y) # ほとんど同上（X -> Y）
sum_list = list(X_set | Y_set)
print(sum_list)
matched_list = list(X_set & Y_set)
print(matched_list)
dif_list = list(X_set - Y_set)
print(dif_list)

#!/usr/bin/env python

# -*- coding: utf-8 -*-

def ngram(nlp,hoge):

box = []

for i in range(0,len(hoge)-nlp+1):

box.append(hoge[i:nlp+i])

return box

hoge1 = "paraparaparadise"

hoge2 = "paragraph"

box = ngram(2,hoge1)

X = box

box = ngram(2,hoge2)

Y = box

X_set = set(X)

Y_set = set(Y)

print(X)

print(Y)

print ("se" in X) # in: X に "se" が含まれていれば True, いなければ False

print ("se" in Y) # ほとんど同上（X -> Y）

sum_list = list(X_set | Y_set)

print(sum_list)

matched_list = list(X_set & Y_set)

print(matched_list)

dif_list = list(X_set - Y_set)

print(dif_list)

ngramの関数は前の問題で作成したものを用いています。

setコマンドは重複を許さない配列の要素を作成します。

さらに二つの配列の中身を比較する際、リスト型からセット型に変換すると、&,-,等の記号だけで集合演算ができます。知らなかった！笑

実行結果：

['pa', 'ar', 'ra', 'ap', 'pa', 'ar', 'ra', 'ap', 'pa', 'ar', 'ra', 'ad', 'di', 'is', 'se']
['pa', 'ar', 'ra', 'ag', 'gr', 'ra', 'ap', 'ph']
True
False
['di', 'ad', 'gr', 'ap', 'is', 'ra', 'ar', 'ph', 'se', 'pa', 'ag']
['ar', 'pa', 'ap', 'ra']
['se', 'ad', 'is', 'di']

['pa', 'ar', 'ra', 'ap', 'pa', 'ar', 'ra', 'ap', 'pa', 'ar', 'ra', 'ad', 'di', 'is', 'se']

['pa', 'ar', 'ra', 'ag', 'gr', 'ra', 'ap', 'ph']

True

False

['di', 'ad', 'gr', 'ap', 'is', 'ra', 'ar', 'ph', 'se', 'pa', 'ag']

['ar', 'pa', 'ap', 'ra']

['se', 'ad', 'is', 'di']

スポンサードリンク

07. テンプレートによる文生成

『引数x, y, zを受け取り「x時のyはz」という文字列を返す関数を実装せよ．さらに，x=12, y=”気温”, z=22.4として，実行結果を確認せよ』

#!/usr/bin/env python
# -*- coding: utf-8 -*-


def origin(x,y,z):
    box = "{shun}時の{naka}は{ore}".format(shun = x, naka = y ,ore = z)
    return box
    
box = origin(12,"気温",22.4)
print(box)

#!/usr/bin/env python

# -*- coding: utf-8 -*-

def origin(x,y,z):

box = "{shun}時の{naka}は{ore}".format(shun = x, naka = y ,ore = z)

return box

box = origin(12,"気温",22.4)

print(box)

format関数を用いることで、変数の文字列の埋め込みが可能になります。format関数を用いずにやろうとすると、”気温”が数字ではなく文字列なのでエラーになります。

実行結果：

12時の気温は22.4

1	12時の気温は22.4

08. 暗号文

『与えられた文字列の各文字を，以下の仕様で変換する関数cipherを実装せよ．

英小文字ならば(219 – 文字コード)の文字に置換
その他の文字はそのまま出力

この関数を用い，英語のメッセージを暗号化・復号化せよ．』

#!/usr/bin/env python
# -*- coding: utf-8 -*-


def cipher(string):
    return ''.join(chr(219-ord(c)) if 'a'<=c<='z' else c for c in string)
    
if __name__=="__main__":
    sentence="Hello, world!"
    ciphertext=cipher(sentence)
    print(sentence)
    print(ciphertext)
    print(cipher(ciphertext))

#!/usr/bin/env python

# -*- coding: utf-8 -*-

def cipher(string):

return ''.join(chr(219-ord(c)) if 'a'<=c<='z' else c for c in string)

if __name__=="__main__":

sentence="Hello, world!"

ciphertext=cipher(sentence)

print(sentence)

print(ciphertext)

print(cipher(ciphertext))

最初は、暗号文？なんだそれって感じでしたので、時間がかかりました。

chr()コマンドで暗号文に変換します。ord(c)は暗号化前の文字列です。ifで英小文字の範囲内ならjoin(chr(219-ord(c)、else ならそのまま”c”ということです。

さらにifとfor を内包表記で書いています。この方がコードが複雑になってきたときの可読性が上がるので、この書き方にも慣れないといけませんね！

実行結果：

Hello, world!
Hvool, dliow!
Hello, world!

Hello, world!

Hvool, dliow!

Hello, world!

09. Typoglycemia

『スペースで区切られた単語列に対して，各単語の先頭と末尾の文字は残し，それ以外の文字の順序をランダムに並び替えるプログラムを作成せよ．ただし，長さが４以下の単語は並び替えないこととする．適当な英語の文（例えば”I couldn’t believe that I could actually understand what I was reading : the phenomenal power of the human mind .”）を与え，その実行結果を確認せよ．』

#!/usr/bin/env python
# -*- coding: utf-8 -*-

import sys,random,itertools

sentence="I couldn't believe that I could actually understand what I was reading : the phenomenal power of the human mind."

#文を単語に分解
words=[word.strip(".,") for word in sentence.split()]

for idx,word in enumerate(words):
    ret=""
    L=len(word)
    #4文字以下はなにもしない
    if 4<L:
        #最初は確定
        ret+=word[0]
        #並べ替えパターンを全てリストに
        perm=list(itertools.permutations(list(word[1:L-1]),L-2))
        #乱数生成
        rnd=random.randint(0,len(perm)-1)
        #並びのなかからランダムにピック
        ret+="".join(perm[rnd])
        #最後も確定
        ret+=word[L-1]
        words[idx]=ret
                
print (' '.join(words))

#!/usr/bin/env python

# -*- coding: utf-8 -*-

import sys,random,itertools

sentence="I couldn't believe that I could actually understand what I was reading : the phenomenal power of the human mind."

#文を単語に分解

words=[word.strip(".,") for word in sentence.split()]

for idx,word in enumerate(words):

ret=""

L=len(word)

#4文字以下はなにもしない

if 4<L:

#最初は確定

ret+=word[0]

#並べ替えパターンを全てリストに

perm=list(itertools.permutations(list(word[1:L-1]),L-2))

#乱数生成

rnd=random.randint(0,len(perm)-1)

#並びのなかからランダムにピック

ret+="".join(perm[rnd])

#最後も確定

ret+=word[L-1]

words[idx]=ret

print (' '.join(words))

いくつかコマンドについて説明します。

itertools.permutations():iterable の要素からなる順列 (permutation) を連続的に返す。
random.randint(a,b):a <= N <= b であるようなランダムな整数 N を返す。

難しいところは、単語を連想配列にして番号と記憶させるのと、文字の並び替えの組み合わせを順列で計算し、各組を乱数で番号付しているところでしょうか。

ここでも連想配列が登場しましたね。

実行結果：

I cnuol'dt bevilee that I cluod alautlcy urtsanendd what I was rdniaeg : the pnnahemeol pewor of the human mind

1	I cnuol'dt bevilee that I cluod alautlcy urtsanendd what I was rdniaeg : the pnnahemeol pewor of the human mind

以上で第１章は終わりです。続きはこちら＞＞＞第二章前半。

スポンサードリンク

記事が役に立ったらシェア！

Warmup-1

missing_char

front_back

front3

string_splosion

第3章: 正規表現

20. JSONデータの読み込み

実行結果：

21. カテゴリ名を含む行を抽出

実行結果：

22. カテゴリ名の抽出

23. セクション構造

実行結果：

24. ファイル参照の抽出

実行結果：

解法

とりあえず作ってみた（間違っている）

原因

正解

15. 末尾のN行を出力

実行結果（コマンドライン引数に６を入力した場合）：

UNIXコマンドでの確認：

16. ファイルをN分割する

実行結果（分割数が4の場合）：

UNIXコマンドでの確認：

17. １列目の文字列の異なり

実行結果：

UNIXコマンドでの確認：

18. 各行を3コラム目の数値の降順にソート

実行結果：

UNIXコマンドでの確認：

19. 各行の1コラム目の文字列の出現頻度を求め，出現頻度の高い順に並べる

実行結果：

UNIXコマンドでの確認：

10. 行数のカウント

実行結果：

UNIXコマンドでの確認：

11. タブをスペースに置換

実行結果：

UNIXコマンドでの確認：

12. 1列目をcol1.txtに，2列目をcol2.txtに保存

実行結果：

UNIXコマンドでの確認：

13. col1.txtとcol2.txtをマージ

実行結果：

UNIXコマンドでの確認：

14. 先頭からN行を出力

実行結果：第二引数にN = 5を入力した場合

UNIXコマンドでの確認：

第1章: 準備運動

00. 文字列の逆順

01. 「パタトクカシーー」

02. 「パトカー」＋「タクシー」＝「パタトクカシーー」

03. 円周率

04. 元素記号

05. n-gram

06. 集合

07. テンプレートによる文生成

08. 暗号文

09. Typoglycemia