【関連サイト】
機械学習の「朱鷺の杜Wiki」
http://ibisforest.org/index.php?FrontPage
人工知能を作ろうver0.0.6
http://hibari.2ch.net/test/read.cgi/tech/1263645019/
言語訓練のために立てたものです。
アイと研究員とのやり取りに利用するスレッドなので、
関係者以外は書きこまないで下さい。
京都大学霊長類研究所
最初に集合知プログラミングを読むだろ？
集合知プログラミング
http://www.amazon.co.jp/dp/4873113644/
数学的にいえばどちらもデータ縮約の一種なので似た一つのグループとして扱われる
JPEGの不可逆圧縮も実は機械学習やデータマイニングと同じグループに入る。
データマイニングは実データからモデルを構築するための技術群と手法。
機械学習は観測データから外挿的推定をするための技術群。
共通した要素技術は多いが、目的と得られる出力がまるで違う。
http://www.publickey1.jp/blog/10/10_3.html
グーグルやマイクロソフト曰く、
「統計分析こそ次の10年でもっとも魅力的な職業になる」そうです。
いま、大量のデータを指す「Big Data」という言葉が多くの場面で使われるようになってきました。
ITの発展に、さまざまなビジネスの現場で、いままで以上に詳細な販売データ、ネット広告に対する反応、
オンライン上での自社の評判など、ビジネスに関連するデータが詳細かつ膨大になってきたためです。
IBMもデータの分析ができる人材を4000人増やすと記事で触れられています。
これまで、IT分野の中心的な役割は、さまざまな目的に応じたシステムを構築することでした。
ITの専門性とは主に、ソフトウェアとハードウェアを使って構築するためのものでした。
しかし、そうして構築したシステムからどんどんとデータが送られてくるようになってくると、次の時代のITの役割として、
このITによって生成されたデータを活用するために分析、加工することの比重が高くなってくるのでしょう。
そしてITエンジニアに求められる専門性もそれに従って、統計や確率、集合や演算といった数学的な専門性の上で、
それを実装するためのプログラミング技術が重視される時代になるのかもしれません。
ttp://www.publickey1.jp/blog/10/post_131.html
グーグル、世界中のショッピングデータから独自の景気動向指数を算出。
カルビーは降雨量や気温からジャガイモの品質を算出。「これがデータの威力」
実際やっている人間からするとものすごくよく分かるのだが、
プログラマ かつ 統計の専門教育を受けている人が少ないからなあ。
このスレの過疎っぷりを見てもそうだが。
A4で5枚くらいのパンフレットを書いて分野を盛り上げたほうがいいんだろうか。
プログラマの皆さん。
「スパムフィルタの学習」説明できますか？
「google IMEのクローン」ぱっと骨組みだけでも考えられますか？
「天候から品質や売上を予測する」穀物メジャーからコンビニまで使っています。
インターネットを使って日々膨大なデータを低コストで集めることができるようになりました。
そして今、湯水のように溢れるデータから価値のある情報を引き出す技法、
データマイニング、機械学習、各種の統計は一番ホットな分野となっています。
今後10年はこれで戦うことができ、20年後にはただの常識となっているでしょう。
プログラマの皆さん。
統計を覚えて、プログラマからコンサルタントになりませんか。
いや、俺はプログラマとして機械学習を応用したプログラムを作り続ける。
つーか、こんな面白い仕事、他人に渡せるかってのw
仕事紹介してよ･･･
基礎統計が分かってて
プログラム組めればいいの？
やっぱ、ノンパラメトリック・ベイジアンぐらい鼻歌まじりに実装できないと・・・
SASとSPSS必須
Rじゃだめですか？
SPSSはともかく、SASは高い。
ウチはR(37)、ウチはSPSS、ウチはSAS(18)って感じで。
ウチはMatlab(19)でとかウチはLabViewでみたいに。
そのライブラリにバグないの？ と聞かれたときに、このソフト使ってるから大
丈夫です。と印籠のように使えるからね。
・SPSS
・SAS
・R
機械学習系
・Octave
・Matlab
・Weka
最近は自分で実装しなくてもツールが沢山あるからねぇ。
使いたい手法の概要とツールの使い方だけ覚えておけばいい。
何とか統計で働きたい
Rのほうがまし。SPSSはしらない。
マイニング屋ならそうだね。あと研究主体の人達。
ML応用系のシステム屋は、地道にシコシコと実装。でも楽しい。
①脳に電極を埋め込む手術が必要である。
②通信媒体は電波（電磁波）である。
ということが２００９年段階で言われているようです。（下記参照）
『脳を読み取る最新技術（前半） 20090209 』
http://www.youtube.com/watch?v=D-8kuZzFKlA
『脳を読み取る最新技術（後半） 20090209 』
http://www.youtube.com/watch?v=mBYWsHsVuKA
したがって、「脳に電極を埋め込まれるような手術を受けていない人」や
「遠隔からの電磁波による思考盗聴を危惧している人」は思考盗聴される
ことはありえないと判断してよいのではないでしょうか。
皆さんの個人情報やプライバシー情報の漏洩・流出と『思考盗聴』とよばれる
現象には関連性があるのではないでしょうか。
『ライフログ集合体と個人情報・プライバシー問題（『思考盗聴』とよばれる現象の一種について）』
http://infowave.at.webry.info/201001/article_2.html
遠隔地から電磁波を送って思考を盗聴する「思考盗聴装置」という機器があるわけではないと思うのですが
どうでしょうか。
http://ja.wikipedia.org/wiki/%E3%83%96%E3%83%AC%E3%82%A4%E3%83%B3%E3%83%BB%E3%83%9E%E3%82%B7%E3%83%B3%E3%83%BB%E3%82%A4%E3%83%B3%E3%82%BF%E3%83%BC%E3%83%95%E3%82%A7%E3%83%BC%E3%82%B9
でいう「非侵襲式」という方式です。実用面の説明として（以下引用）
「手軽にセンサーの取り外しが出来ることから実用面でリードしているものの、
頭蓋骨などの影響で脳波が変化してしまい（体積伝導）、侵襲式と同じように正確に情報を読み取れるかどうかは課題として
残っている。」（以上引用）
と述べています。①脳に電極を埋め込む手術が必要である。ような侵襲式でない場合は正確な脳波を測ることは 現段階では不可能
なようです。脳波を測るのに②電波（電磁波）を使う。と考えるとして、遠隔地からどのような電波 を対象者（ターゲット）に照射
して脳波を読もうとするのでしょうか。指向性電波でしょうか。対象者だけに電波（電磁波）を照射できる 保証はあるのでしょうか。
携帯電話の電磁波でも長時間浴びると脳に障害がでると言われていますが、どれくらいの間対象者に電波 （電磁波）を照射するので
しょうか。長時間の電磁波照射は人体に有害である可能性が高いですよね。結局、遠隔地からの電磁波照射では対象者の脳波や
脳の血流を正確に読むことはできないと考えられます。
http://www.newtonpress.co.jp/science/newton/back/back10/n1003.html
の『脳研究の今』P42～P43に「fMRI」についての情報がのっています。日本では
>>33で述べられているような脳に電極を埋め込まない「非侵襲式」の研究が盛んなよう
です。興味があれば読んでみてはいかがでしょうか。「fMRI」については下記の
『Wikipedia』の「fMRI」を参照してください。
http://ja.wikipedia.org/wiki/FMRI
脳波を測定するにしても、脳も血流を測定するにしても、遠隔地からの電磁波による
思考盗聴は現段階では不可能なようです。 したがって、>>32で述べているように
「脳に電極を埋め込まれるような手術を受けていない人」や 「遠隔からの電磁波
による思考盗聴を危惧している人」は思考盗聴される ことはありえないと判断して
よいのではないでしょうか。
皆さんの個人情報やプライバシー情報の漏洩・流出と『思考盗聴』とよばれる
現象には関連性があるのではないでしょうか。
『ライフログ集合体と個人情報・プライバシー問題（『思考盗聴』とよばれる現象の一種について）』
http://infowave.at.webry.info/201001/article_2.html
遠隔地から電磁波を送って思考を盗聴する「思考盗聴装置」という機器があるわけではないと思うのですが
どうでしょうか。
サイバーワールド『脳波から意志を読み取る装置が実用化へ』（１２ページ）の
「持ち運び可能な無線脳波計」の項目に次のような記載があります。
（以下引用）
「これまでの認知型BMIは、装置が大きく高価で、操作もむずかしいなど、
実用性にもとぼしいものが多かった。そんな中、産業技術総合研究所の研究
グループは、認知型BMIシステムを用いた、より実用性の高い意志伝達装置
「ニューロコミュニケーター」を開発した。BMIには、脳に電極を刺して
脳活動を読み取る「侵襲型」と、脳に電極を刺さない「非侵襲型」がある。
ニューロコミュニケーターは、より安全性の高い「非侵襲型」で、ヘッド
キャップをかぶり、頭皮上の脳波（電位変化）から脳活動を計測する方法
を採用している。そして、コア技術の一つとして開発されたのが、持ち運
び可能な「超小型脳波計」である。この脳波計は、コイン型電池で長時間
稼動し、外部機器とは無線で通信するため、ケーブルからのノイズの混入
もなく、ユーザーの動きも制限しない。（以上引用）
『このニューロコミュニケーターでも頭部に脳波を測るヘッドキャップを常時装着しています。
その測定結果を電波で送信するのです。脳波を測定するにしても、脳も血流を測定するにしても、
遠隔地からの電磁波による 思考盗聴は現段階では不可能なようです。 したがって、>>32
で述べて いるように 「脳に電極を埋め込まれるような手術を受けていない人」や 「（自分の意思で脳波測定の
ヘッドキャップをつけていないのに）遠隔からの電磁波 による思考盗聴を危惧している人」は思考盗聴
される ことはありえないと判断して よいのではないでしょうか。
皆さんの個人情報やプライバシー情報の漏洩・流出と『思考盗聴』とよばれる
現象には関連性があるのではないでしょうか。 『ライフログ集合体と個人情報・プライバシー問題
（『思考盗聴』とよばれる現象の一種について）』 http://infowave.at.webry.info/201001/article_2.html
遠隔地から電磁波を送って思考を盗聴する「思考盗聴装置」という機器があるわけではないと思うのですが
どうでしょうか。
http://infowave.at.webry.info/201010/article_2.html
盗聴法改正案が来年提出され、もし成立すれば、基本的に米国のインターネット･サービス
を利用するユーザーは、国の区別なしに米公安機関による通信傍受の対象となる。これは
意外な落とし穴となるだろう。たとえば、東京から大阪までスカイプで電話をした場合、
もしその通話が米国の管理サーバーを経由していれば、理論上、米国公安当局は傍受をできる
ことになる。同様に、日本の知人や友人同士が楽しくフェースブックで交流していても、
そのメールやアップロードした写真、書き残したメモなどが米国のサーバーにある限り、
米国の公安当局が傍受あるいは閲覧することができるようになる。
http://infowave.at.webry.info/201010/article_1.htmlの参照お願いします。
Webブラウジング履歴やユビキタス/Augmented Realityにおける個人情報データの蓄積に対する抗議文か。
まあその危惧は分からないでもない。
google等の情報集積の危険性は同意。。
androidでさらに加速するだろうしね
日本の総務省はDPIを認める方向で動いているし。
たまに出てくるGoogle Ads見てみ
見事に最近の検索結果と一致してるから。
まあDPIも危険だろうけど。
歴史上独占が進んでおかしくならなかったケースなんて
ほとんど無いからね。
> たまに出てくるGoogle Ads見てみ
> 見事に最近の検索結果と一致してるから。
それのどこが危険なの？
そういうのが検索結果やアドに反映されてたら怖いけどさ、
ググルで検索した履歴がググルのアドに反映されても何の不思議も怖さもないんだけど。
どういう評価方法を採るのが一般的ですか？
そもそも教師データが無いので評価できないのでは？
クラスタリングの目的は潜在変数の予測だしね。
評価の基準（教師データ）があるなら教師付き学習を使うだろ。
とある過程の動的計画法(ダイナミックプログラミング)
凝集度を計測したり、色々な評価尺度があるが？
JavaならWekaとかあるよ
ガリガリは書かないだろうけど
過去半年の英米圏で発表された科学論文系のプレスリリース約12000件のクラスタリングを
やってみたところ、プログラムがまったく動作しなかった。
元テキストで使われている英単語から辞書を作成したところ、辞書の大きさは約６万件。
これを元に記事ごとの単語頻出度を抽出させたんだが、１記事６万件の単語フィールドだと
普通のプログラムだと処理しきれないみたい。
集合知プログラミングのサンプルデータだとちゃんと処理できたのだが、
http://kiwitobes.com/clusters/blogdata.txt
単語頻出度の出現率リストから作り直す必要があるみたいなので、今、元データを見直してみたところ、
全テキストに出現するユニークワードは67769。この内、１度しか出現しないワードは全体の48％。
反対にもっともよく出現するワードはこれ、とりあえず、上と下のワードを削ってみます。
1 6703 research
2 6442 study
3 6297 university
4 5410 researchers
5 4182 journal
6 4071 published
7 4049 found
8 3467 professor
9 3088 years
10 2910 health
11 2862 time
12 2819 results
13 2694 team
14 2688 patients
15 2687 scientists
16 2687 data
17 2635 author
18 2623 disease
19 2581 people
20 2578 findings
日本語のブログ記事もそこそこあるが、ほとんどは、他のサイトでこういうことが紹介されていました、という
伝聞記事で、実際にテキストマイニングをやったことはない人が書いたもの。実際に自分で試して記事は
ベイジアン分類はそこそこあるが、クラスタリングになるとほとんどない。非負値行列因数分類とかになると
そもそも入門レベルでの解説は不可能で、自然言語系の専門教育を受けた人じゃないとかなり難解。
集合知プログラミングの作者のブログによるとこの本（原書）は１５００部売れたとか書いてあるけど、
１５００部というと多分、初版で終わりのレベル。英米圏でも１５００というのはオライリーの専門書のなかでも
かなり専門的な分野だと思う。
http://www.dl.kuis.kyoto-u.ac.jp/lecture/doc/infosystem02.pdf
もっと応用に使うべき。
どうして？
シミュレート板に関連スレがいくつかありました。
しかし9月上旬にkamomeが飛んだ時にログが2ch.netから失われました。
過疎板の上に今は書き込み規制が乱発されているので再建は難しそうです。
http://kamome.2ch.net/sim/
kamome移転前のログが下記ページにあります。
http://www.unkar.org/read/science6.2ch.net/sim
あの本で載っているPythonのサンプルはアルゴリズムを説明するため使っているもので、
プログラム例ではないよ。現にそもまま打ち込んでも動かないというか、多分、著者は、
実行系で動かしたものを掲載したんではなく、ワープロでそもまま直感的に打ち込んだもの
を掲載しているんじゃないかと思う。つまり、アルゴリズムの表現としてただ単に平易な言語
を使っただけではないかと思う。
アマゾンのコメントとかには、プログラムを打ち込んでも全然動かないとか、そもそもシンタックスがおかしくおかしいとか、
果ては演算子のｘが書籍内ではｘ（エックス）が使われており、著者は四則演算もできないバカとか、完全に的外れのコメントまで書かれている。
そうは言うけど、自分の知らないプログラミング言語だとわかりにくいよ
サンプルコードはC系の言語（C,C++,C#,Java)当たりにしとくべき
それこそ、向かないでしょう。
データクラスタリングの章は、根本的なところで、テキストから抽出する単語の頻出度データの構造が悪い。
セガランのクラスタリング実装では、Big brown fox jumps over the lazy dogとNow is the time all the good men stand for America.
という2つのテキストがあった場合、出現する全部単語で列を作って
1 -> 1 1 1 1 1 1 1 1 0 0 0 0 0 0 0 0と
2 -> 0 0 1 0 0 0 1 0 1 1 1 1 1 1 1 1
のようなテーブルを作ってクラスタライングを実行することになる。ところが、大量の文章を元にこのデータ
構造を作ろうとなると、それこそ、普通の辞書に載っているだけの単語が出現することになって、
元データの１行の列数が数万とかとんでもないことになって処理が困難になる。
その後でBayonを使ってみてBayonのデータ構造がかなり違っていることに気づいたのだが、Bayonの場合、入力データは
Big 1 brown 1 fox 1 jumps 1 over 1 the 1 lazy 1 dog 1
Now 1 is 1 the 2 time 1 all good 1 men 1 stand 1 for 1 America 1
みたいな記述になっていてデータが単純。あの本の批判には、Pythonのシンタックスがおかしいという他に
Pythonによる実装例だとスケーラブルな処理ができなくなるというのがあるんだけど、まあ、その批判も
実際に試した結果から言っているものではないな。上のデータ構造はセガランはベイジアン分類器でも
使っているが、そもそもスケーラブルな処理をこなすためにはこのデータ構造そのものが問題でPython
云々の問題ではない。ただし、まあ、あのレベルの本だとそこを含めて判って当然なんだろうと思う。
データ構造の考え方としては間違えてないと思う。
実際、疎行列に最適化した実装なんていくらでもあるよ。
Javaに関してだけのコメントだけど、
「Javaによる知能プログラミング入門」なんかを読んでみると
この手の本にJavaは向かない気がする。プログラムの一単位が
大きく、説明文とコードを1ページに詰めようとすると、文字も
細かくなり読みにくい。やはりこういうレベルのアルゴリズム
記述は記号処理言語だけで構成することが望ましいのではないか。
説明箇所は少ないね。データ構造と実行例ばかり。
集合蜘 in action
で「警察・」というキーワードで検索すると、警察官による事件が複数検索できます。もちろん、行為をした
警官は逮捕されています。一方、「警察・盗聴」というキーワードで検索すると、警察官による盗聴事件はほとんど検索結果
がでません。これにはいくつかの可能性が考えられると思うのです。
①本当に警察官は傍聴法にもとづいたと傍聴以外の違法な盗聴を行って
いないから事件にならない。
②「検察が法的根拠なしでも開示要請すれば、ほいほいと従うという暗黙の慣例」にしたがって、
実は傍聴法にもとづかない違法・越権盗聴を行っているが、日本国内のプロバイダーや通信業者の
協力で問題が表面化せずにごまかせている。
『尖閣ビデオ』流出問題に垣間見る通信の秘密の法律・傍聴法の無力化』（下記参照おねがいします）
http://infowave.at.webry.info/201011/article_2.html
既存のどの言語にも平等に似てない擬似言語を使うしかないんじゃないか
いや件の本が良いか悪いかは別として
そのアルゴリズムを何を使ってどうやって説明するかは難しいよ。
例えばGoogleのページランクのアルゴリズムを説明するには、最終的には方程式でも示さなければダメになる。
それでもいいけど、そこまでいくともう論文でしょ。
オハイリーで出版できる本じゃなくなる。
情報を与えて分類させたらちゃんと動くと思う？
プログラムにデータを与えたらちゃんと分類したよ。
これはちょっとおもしろい。
http://d.hatena.ne.jp/aidiary/20091003/1254574041
（下記参照）
http://gimpo.2ch.net/test/read.cgi/news4plus/1230860771/
（以下引用）『譲渡先は「PACKET MONSTER INC. 」とされており、これについての詳細な説明はない。・・・（中略）・・・
また、書き込みを保存するサーバー自体はアメリカ合衆国にあり、従来、２ちゃんねる
ガイドに添えられていた「書き込み削除の最終責任は管理人ひろゆきにあります。 」という表現自体も削除されている・・・
（中略）・・・今回の“外国への譲渡”が、
書き込みをめぐる名誉棄損や法務省、警察庁など“ネットを取り締まる”官庁にも相当の影響を与えると思われる。』
（以上引用）
以上を読んでいただ後、下記を参照してください。
『アメリカ経由の通信情報ローンダリング手法』の確立可能性と傍聴法の無力化』
http://infowave.at.webry.info/201010/article_2.html
盗聴法改正案が来年提出され、もし成立すれば、基本的に米国のインターネット･サービス
を利用するユーザーは、国の区別なしに米公安機関による通信傍受の対象となる。これは
意外な落とし穴となるだろう。たとえば、東京から大阪までスカイプで電話をした場合、
もしその通話が米国の管理サーバーを経由していれば、理論上、米国公安当局は傍受をできる
ことになる。同様に、日本の知人や友人同士が楽しくフェースブックで交流していても、
そのメールやアップロードした写真、書き残したメモなどが米国のサーバーにある限り、
米国の公安当局が傍受あるいは閲覧することができるようになる。
あたりまえだけど
色しかみてないのが良くわかるね
できれば日本語で
このスレ見てたらまた読みたくなってきた
TOP カテ一覧 スレ一覧 2ch元 削除依頼 ▲
pythonがこの先生きのこるには (790)
Coqスレ (138)
くだすれPython(超初心者用) その13 (126)
iPhone iPad iOSプログラミング Part1 (243)
スレ立てるまでもない質問はここで 118匹目 (233)
OpenWatcom C++ (709)
--log9.info------------------
☆★☆USLPGA米国女子ツアー36番ホール☆★☆ (828)
【寺】テーラーメイドスレ PART-27【寺院】 (444)
【人の振り見て我振り治す】練習場の面白い人10 (1001)
【人類皆】金田久美子23【穴兄弟】 (369)
広島県のゴルフ事情 (462)
会員権総合2 (547)
【ミニのワンピで】辻村明須香３【おじさんコロリ】 (397)
ライ角調整は詐欺 (628)
馬場ゆかりファンクラブ９ (704)
2012年一番飛ぶドライバーって？ (117)
【打感】中・上級者用 軟鉄アイアン【操作性】２ (300)
今日、開眼したことをカキコするスレ PART24 (841)
教え魔 (769)
【Part9】ゼクシオ使いはダサいと思ってる人の数→ (129)
(・∀・)←こいつに変な事言わせろOpen (218)
女子プロゴルファーで抜いたらageるスレ (228)
--log55.com------------------
ポスペ総合相談室 -3-
【ポストペット】PostPet 4you 2匹目【ポスペ】
ポストペット公式プラグイン情報交換コーナーPart8
▼雑談スレッド
ケータイポストペットについて語ろう -2-
ＰＰＰから部活動を追放せよ！
ポスペのサイン（署名）
☆☆irc.reicha.net専用スレッド☆☆