データを集めたら、そのまま使える？

1種類によってできることが違う

集めた記録は、何を表すかで使い方が変わります。

• 年齢や金額のように量を表すものを量的データ、血液型や商品の種類のように分類を表すものを質的データといいます。商品に付けた番号は、数字でも量とは限りません。
• 集め方にも名前があり、自分の目的に合わせて調べたものは一次データ、すでにある調査などを使う場合は二次データと呼びます。
• また、毎日の売上のように時間を追うものは時系列データ、同じ日に複数の店を比べるものはクロスセクションデータです。

値の性質・集め方・時間という別々の観点で確かめましょう。

2形と意味を確かめる

売上表なら、各行に同じ項目を並べられます。このように決まった形で整理されたものが構造化データです。自由な文章や画像など、そのままでは同じ表に収まりにくいものは非構造化データの例です。同じ「100」でも、円と個では意味が違います。

単位や作成日時など、データの意味を説明する情報をメタデータといいます。表の値をコンマで区切って並べるCSV（値をコンマで区切るデータ形式）は、別のソフトへデータを渡すときなどに使う形式です。読み込むときは、文字と符号の対応ルールである文字コードも確認し、文字化けや単位の取り違えを防ぎましょう。

3数字でも、できる計算は違う

数字をどう比べられるかを決める物差しを、尺度といいます。血液型のように同じか違うかを分けるのが名義尺度です。満足度の5段階のように順番を比べるのが順序尺度で、「5」が「1」の5倍満足とはいえません。摂氏温度のように数値の差に意味があるものは間隔尺度です。

20℃と10℃の差は10℃ですが、2倍の熱さという意味ではありません。売上高や重さのように「何もない」を表す0があり、差だけでなく比にも意味があるものは比例尺度です。売上20万円は10万円の2倍と比べられます。

計算の前に数字の意味を見ましょう。

4人が読める表から、集計できる表へ

コンピュータが値とその意味を読み取り、集計などに利用できることを機械判読可能といいます。表の一つ一つのマスをセルと呼びます。紙を写真にして保存しても、画像に写った数字をそのまま合計できるとは限りません。

• 一つの列には同じ種類の値を入れ、見出しで意味を示します。
• 同じ事柄は同じ名前で書き、数値の単位をそろえます。
• 一つのセルに「20杯・1万円」のような別々の値を詰め込みません。
• 集計する元の表では、セルの結合や「同上」の代わりに、各行へ値を入れます。

CSV（Comma-Separated Values：値をコンマで区切るファイル形式）で保存して受け渡す方法もあります。ただしCSVに変えただけで、表記ゆれや欠損が直るわけではありません。

参考：総務省：機械判読可能なデータの表記方法 ↗

5前処理も分析の一部

計算の前に記録を確かめ、目的に合う形へ整える作業を前処理といいます。同じ人が別の表記で登録されていないかを確認し、同じ人の記録をまとめるのが名寄せです。値が抜けた欠損値は理由を調べ、周りから大きく離れた外れ値や、異常が疑われる値は内容を確認します。

空欄を理由なく0にすると、平均などを変えてしまいます。外れ値も、実際の大口注文かもしれず、必ず誤入力とは限りません。また、画像に「猫」などの正解ラベルや意味の情報を付ける作業はアノテーションです。機械に学習させるデータを用意するときなどに使います。

例えば、写真を見て猫か犬かを見分ける仕組みを作るとします。コンピュータがデータから判断の仕方を学ぶ方法を機械学習といい、そのうち、入力と正解の例を組にして学ぶ方法が教師あり学習です。

• 写真に「猫」「犬」と正解を付ける：アノテーション。
• 写真と正解の組から、判断の仕方を学ぶ：学習。
• 学習には使っていない写真で、見分けられるか確かめる：評価。

正解を付ける準備と、機械が学習することは別の作業です。間違った正解や偏った例で学ぶと、うまく判断できなくなることがあります。

同じ名前の別人もいるため、名寄せでは氏名だけで決め付けず、住所などの複数項目を確認します。データを使う前には、誰が・いつ・何の目的で・どのように集めたかという来歴や、利用できる条件も確かめます。画像に正解の名前を付けるアノテーションでは、担当者によって基準が違わないか、夜の画像が不足していないかなども調べます。

参考：Google：教師あり学習（英語） ↗

6整える・変換する・選ぶを分ける

データを使う準備には複数の作業があり、全部を同じ名前では呼びません。

• データクレンジング：表記の不統一や重複、誤りなどを調べ、目的に合う品質へ整えます。たとえば同じ商品の「コーヒー」「珈琲」をそろえます。
• アノテーション：画像などに意味や正解ラベルを付けます。たとえば写真へ「猫」と付け、教師あり学習の例を用意します。
• エンコード：決めた規則に従って、情報を別の表現や形式へ変換します。文字をコンピュータで扱える符号へ対応させる例です。誤りを修正することや、正解を付けることそのものではありません。
• フィルタリング：条件に合うものを取り出す、または条件に合うものを除きます。たとえば購入記録から「9月の注文」だけを選びます。

名寄せは、表記が異なる記録が同じ人物・対象かを確かめ、まとめる作業です。複数の銀行口座などの情報を一つの画面へ集めて見せるアカウントアグリゲーションとは目的が異なります。また、キーボードのキーに機能を割り当てることも、名寄せとは別です。

『名前が同じか』だけでなく『同じ人・対象か』を確認することが、名寄せの要点です。

参考：IPA：シラバス Ver.6.5（学習範囲） ↗

参考：IPA：2024年度の公開問題 ↗

参考：IPA：2026年度の公開問題 ↗

7どう生まれたデータかを確かめる

アンケートで集める調査データ、条件を変えて結果を測る実験データ、日々の取引などから生まれる業務データでは、集めた目的や条件が違います。自然に記録された売上を眺めることと、価格以外の条件をそろえて価格の効果を実験することは同じではありません。

歩数・睡眠時間・移動履歴など、個人の日常の活動を記録したものをライフログと呼びます。健康管理などに使えますが、生活の様子が分かる情報なので、誰が何のために利用するかも確認します。

ビッグデータの特徴を表す3Vは、Volume（量）、Velocity（発生・更新などの速度）、Variety（種類の多様さ）です。毎秒届く位置情報、膨大な購入記録、文章や画像が混じる記録を、それぞれの特徴と結び付けます。

量が多ければ自動的に正しくなるわけではありません。

パーソナルデータは、氏名や購入・移動の履歴など、個人に関するデータを広く扱うときの呼び方です。法律上の「個人情報」と常に同じ範囲とは限りません。名前を消しても、他の情報と容易に照合して本人を識別できるなら、個人情報に該当する場合があります。

人の行動ログなら「9:00に商品画面を開いた、9:02に購入を完了した」などから使いづらい手順を探せます。機械の稼働ログなら「9:00に運転開始、9:20に停止」や温度などから異常を調べます。ログは出来事の記録、アクティビティは活動、トランザクションは取引やひとまとまりの処理を指す言葉です。

購入履歴を本人向けの商品案内に使う場合も、示した利用目的や本人の希望、情報の守り方を確認します。購入履歴があるからといって、無関係な相手へ自由に渡してよいわけではありません。

8文章と画像にも、使う前の準備がある

自然言語処理は、日本語など人が使う言葉をコンピュータで扱う技術です。アンケートの文章から言葉を取り出し、何が話題になっているかを調べる用途があります。

共起キーワードは、同じ文など決めた範囲に一緒に現れる言葉です。「席」と「狭い」が一緒に多く現れれば、読むべき意見を探す手がかりになります。ただし「席は狭くない」もあるので、回数だけで不満だとは断定できません。言葉の出現回数などを文字の大きさで表すワードクラウドでも、大きさが何を表すかを確かめます。

画像処理には、画像の大きさや明るさを調整する、特徴を取り出すなどの処理があります。写真のサイズをそろえることと、写真に『猫』という正解の名前を付けるアノテーションとは異なります。

9場所の情報は、点・線・面で扱える

GIS（Geographic Information System：地理情報システム）は、場所と結び付いた情報を地図上で扱う仕組みです。店舗の位置を点、道路を線、地域の範囲を面で表し、店名や人口などの属性情報と組み合わせます。

シェープファイルは地理的な形と属性を扱う形式の一つです。通常、形状・索引・属性などを持つ複数のファイルを一組として使います。地図の写真と違い、場所や属性を選んで調べる用途があります。全てのGISデータがこの形式とは限りません。

参考：Esri：シェープファイルとは ↗

103件の文章を、数えて図にする

架空の感想を「席が狭い」「席が狭いが明るい」「席が広い」の3件とします。ここでは一つの感想に言葉が登場したら1件と数え、同じ感想で繰り返されても増やしません。

「席」は3件、「狭い」は2件、「広い」は1件です。「席」と「狭い」が同じ感想に出るのは2件、「席」と「広い」は1件。このような共起を線で結ぶと、読むべき話題を探せます。

文字の大きさで件数を示すワードクラウドなら、「席」が最も大きくなります。ただし、回数が多いから必ず重要・悪いとは限りません。集計の数え方を決め、元の文章へ戻って意味を確かめます。