- -pv
スレッドの閲覧状況:
現在、- がスレを見ています。
これまでに合計 - 表示されました。
※PC・スマホの表示回数をカウントしてます。
※24時間表示がないスレのPVはリセットされます。

テルミナス

1fmnr◆c4aILkJNK7BS:2015/03/11(水)19:34:45 ID:7w4()
研究するゴン
2名無しさん@おーぷん :2015/03/21(土)09:22:41 ID:8zQ()
まず最初のテーマはvipのスレ集計ね
3名無しさん@おーぷん :2015/03/21(土)09:46:11 ID:8zQ()
わくわく
待ってるよぉーーー!
4Awn◆Awn//////E :2015/03/21(土)09:48:52 ID:5pJ
ここかと思ったらここだったとな
5名無しさん@おーぷん :2015/03/21(土)09:49:26 ID:8zQ()
なんだよ
あっさりみつかっちゃたやないか
6名無しさん@おーぷん :2015/03/21(土)09:50:54 ID:8zQ()
しかしレスって4行以上増えたら
ヘッドラインに出るように思うから
他の人にもみつかっちゃうね
7Awn◆Awn//////E :2015/03/21(土)09:51:58 ID:jUr
幾ら何でも過疎すぎでしょ…笑
これから用事あるんでまた会う日まで~
8名無しさん@おーぷん :2015/03/21(土)09:53:04 ID:8zQ()
>>7
オラは今日は
RubyでSQLiteにがんばるつもりですよん
それじゃまた~
9Awn◆Awn//////E :2015/03/22(日)00:03:36 ID:guS
sage
10名無しさん@おーぷん :2015/03/22(日)05:05:30 ID:MLE()
ソースの進行状況を公開していくつもり
でもその情報を自分でコントロールできるようにしておきたい
ソースを書いたURLを示そうと思うけど
ここに書いたらずっと残るから
URL短縮サービスを使ってみようかなと
後からクリアできる短縮サービスを今探し中
11名無しさん@おーぷん :2015/03/22(日)05:12:55 ID:MLE()
おもしろそうなのがあったけど英語なんだよなぁ
http://snipurl.com/
12名無しさん@おーぷん :2015/03/22(日)06:20:24 ID:MLE()
RubyでSQLiteの途中
http://snipurl.com/29sdtuy
13名無しさん@おーぷん :2015/03/22(日)06:24:12 ID:MLE()
いま気づいたのだけど
これもfunctionの考え方に似てる
実体は一つにしておいて呼び出すのは複数から
14Awn◆Awn//////E :2015/03/22(日)13:33:47 ID:u2c
pastebinかgithubでええと思うよ
15Awn◆Awn//////E :2015/03/22(日)14:19:06 ID:5zj
githubは無料だと公開リポジトリしか作れないが、bitbucketなら非公開リポジトリも作れる
どちらも要Git
16名無しさん@おーぷん :2015/03/22(日)21:48:05 ID:MLE()
githubの理解は必須みたいですよね
現状すこぶる敷居が高いのだけど
17Awn◆Awn//////E :2015/03/22(日)22:47:18 ID:guS
しっかり使いこなすのは難しいけど(もちろん自分もまだ苦戦中)、
ソースコードのバックアップ的な使い方ならそんなむずくないよgithub
18Awn◆Awn//////E :2015/03/23(月)00:12:41 ID:01D
sage
19名無しさん@おーぷん :2015/03/24(火)04:19:10 ID:p94()
githubって変更履歴が保存されるもの
そして開発履歴を共有できるもの
と理解しているのだけど
今の自分にはたぶん不要
20名無しさん@おーぷん :2015/03/24(火)04:26:55 ID:p94()
必須だけど不要とはこれ如何にだけど
自分にはオーバースペックってことかな
序々に馴染んでいけたらいいのだけど
21名無しさん@おーぷん :2015/03/24(火)04:27:45 ID:p94()
だけどが冗長
22名無しさん@おーぷん :2015/03/24(火)08:36:10 ID:p94()
某掲示板がどこなのか知らないけれど
今日の収穫はpermutation

a=[1,2,3,4,5,6,7,8,9]
a.permutation(3){|x,y,z|
if(x+y+z)==17 && (x*y*z)==168 then printf("%d %d %d\n",x,y,z) end
}
23Awn◆Awn//////E :2015/03/24(火)15:48:45 ID:SO2
rubyの匂いがしますね
24Awn◆Awn//////E :2015/03/24(火)15:49:43 ID:SO2
IDが二酸化硫黄だた
25Awn◆Awn//////E :2015/03/24(火)16:03:37 ID:TAu
>>22
if文の中の論理式ってショートサーキット(短絡評価)にならない?
つまり、「(x+y+z)==17」が真の時には「(x*y*z)==168」が評価されないような懸念。
26名無しさん@おーぷん :2015/03/24(火)17:45:23 ID:p94()
>>23
Rubyにもpermutationというのがあって驚きでした
Rubyのニオイは硫黄みたいに臭くはないですよw

>>25
短絡評価という言葉は初めて目にしたけれど
たしかにifで複数の条件があると先に評価されてどうこうというのが
本には書いてありました
結果はAwnさんのと同じだったので良しと判断したのですが
調べてみます
27Awn◆Awn//////E :2015/03/25(水)06:33:01 ID:CA1
ところで何を作ってるんだっけ?
28名無しさん@おーぷん :2015/03/25(水)06:40:35 ID:JJ2()
webからの情報抽出を目標として
RubyとCの習得が目的
Rubyは汎用
Cはdll?みたいなのを作る

いまは
Rubyでスレ分析
スレ分解→SQLite3→web上で表示
29名無しさん@おーぷん :2015/03/25(水)06:41:43 ID:JJ2()
パーサーは自前で
30Awn◆Awn//////E :2015/03/25(水)06:46:08 ID:CA1
スクレイピングですな
なんか行き着く先はそこだよね、分かるわ
rubyならHTMLのパーサーあるんじゃね?でも自前でゴリゴリ作るのも素敵
31名無しさん@おーぷん :2015/03/25(水)06:52:40 ID:JJ2()
すでにあるパーサーは使い方を学ぶのがつらい
自分の思い通りのことをさせるには自前

google検索結果もパーサーでいけると思っていたのだけど
どうもあれは素直にhtmlを返していないみたい
あそこらへんが手強い
32Awn◆Awn//////E :2015/03/25(水)06:52:45 ID:CA1
人に聞いといて自分の書かないのはあれなので、おいらは
・おーぷんの書き込みからYouTubeのリンク抜いて処理する何かをpythonで作る
・Chrome拡張機能で必死チェッカーもどきを作る

この二つを考えてる最中。今は文字コードとDOMの処理に苦戦中なので手と目を動かして勉強中
33Awn◆Awn//////E :2015/03/25(水)06:57:29 ID:CA1
>>31
http://google.com/search?q=QUERY_STRING でも検索できるけど、Google検索ならdeveloper用のAPIがあるような気がする。
34Awn◆Awn//////E :2015/03/25(水)07:00:43 ID:CA1
http://offsidenow.phpapps.jp/archives/415
古いけどこんなのがあった

大元はおそらくここ
https://developers.google.com/custom-search/docs/overview
35名無しさん@おーぷん :2015/03/25(水)07:00:50 ID:JJ2()
必死チェッカーもどき
これは共通目標w
しかしこれを公開するのは一部の人の
反発をうけるような気もする

>>33
APIは回数制限とか登録が必要とかがあるみたい
36Awn◆Awn//////E :2015/03/25(水)07:05:18 ID:CA1
>>35
APIは無料だと100calls/dayみたい…ケチだよね笑

反発を受けるよなー必死チェッカーもどき。まぁ作れるか分からんが…。
37名無しさん@おーぷん :2015/03/25(水)07:05:34 ID:JJ2()
反発には
気持ち的なものが大きいけど
スレへのアクセスがサーバー負担になるという点がどうなのか
38名無しさん@おーぷん :2015/03/25(水)07:07:51 ID:JJ2()
Rubyは基本的にソース公開でいくつもりなのだけど
そこらへんを気にしてる
アクセス負担になるツールを公開したらまずいかなと
39Awn◆Awn//////E :2015/03/25(水)07:11:55 ID:CA1
確かにアクセス過多はあかんな。
現段階の構想だと、getメソッドで2分間に1500スレぐらいアクセスしてしまう作りだからスクリプト実行しまくると簡易的なF5アタックになってしまうな…これは良くない。。
やっぱシステムのクローリングとユーザーのビューは分離するのが鉄則ですな。
40名無しさん@おーぷん :2015/03/25(水)07:16:23 ID:JJ2()
>>39
別のところにごっそりダウンロードしてもらって
解析用にはそこを利用させてもらうとか・・・
41Awn◆Awn//////E :2015/03/25(水)07:18:17 ID:CA1
>>40
そうなるよね笑
42名無しさん@おーぷん :2015/03/25(水)07:19:02 ID:JJ2()
>>41
文面の裏にひそむ願いwww
43Awn◆Awn//////E :2015/03/25(水)07:27:24 ID:CA1
ニュー速VIPだけだと1日4万書き込みぐらいだから、4万×数項目を何処かにごそっと…。
44名無しさん@おーぷん :2015/03/26(木)10:22:39 ID:51h()
sqlite3
もうすこし
linuxとwindowsで平行して進めているのだけど
環境設定で手間取ってしまう
45Awn◆Awn//////E :2015/03/26(木)15:23:13 ID:DZs
順調裏山シーワールド
46名無しさん@おーぷん :2015/03/27(金)06:31:14 ID:QaC()
全然進まネーズミランド
47名無しさん@おーぷん :2015/03/27(金)06:35:41 ID:QaC()
dllが足りないとかメッセージでてくるし
原因探求に数日かかってしまうのよね
48名無しさん@おーぷん :2015/03/27(金)06:40:26 ID:QaC()
ユニークコテグラフ
おもしろい
毎日120ぐらいも新規コテが誕生してるのね?
継続コテも合わせて一日100ぐらいかと思ってたわ
49名無しさん@おーぷん :2015/03/27(金)07:57:07 ID:QaC()
xpのruby環境設定やり直し
もう泣けてくる
50Awn◆Awn//////E :2015/03/28(土)01:31:20 ID:kTg
>>48
いや、その日にいたユニーク数というかその日に書き込んだコテの数っす。
新規か古参かは分からないけど、コテを使って書き込んでいる「ユーザーの数」がユニークコテグラフです。

極端に減るとプログラムのバグかと思ってしまう笑
51名無しさん@おーぷん :2015/03/28(土)01:40:33 ID:veL()
>>50
その日のコテ数なら納得の数字
でもたしかに減りの具合がおかしい
何か原因があるはず
全体数との割り合いは?
サーバー不調で全体が減っていたとか?
52Awn◆Awn//////E :2015/03/28(土)02:22:06 ID:Z3d
うーん、調べてみたがめんどくて諦めた…。
正規表現で拾えてなかったのかな…笑
53名無しさん@おーぷん :2015/03/28(土)06:47:05 ID:veL()
これ見ると25日は全体的に減少しているから
コテが少なくても当然のようにも思うし
まだ何か差があるのかなとも思う・・・
http://kenmo.biz/hikaku/opengraph.php
54名無しさん@おーぷん :2015/03/28(土)07:00:28 ID:veL()
xpでrubyの環境設定をやっと元に戻せた
前にしてたことなのに再度するときに時間がかかりすぎた
こういうのは進歩がなくて情けなくなる
55名無しさん@おーぷん :2015/03/28(土)09:45:13 ID:veL()
できたと思ったらまた次の問題が・・・
イライラ
56名無しさん@おーぷん :2015/03/29(日)18:52:33 ID:ZL8()
やっとこさsqlite3のテストができた
http://sn.im/29t2bnu
57Awn◆Awn//////E :2015/03/29(日)19:42:27 ID:Shy
SUGEE
ちゃんとボタン押したらソートされますな。
58名無しさん@おーぷん :2015/03/29(日)21:55:06 ID:ZL8()
とっても時間がかかりました
たまりません
59名無しさん@おーぷん :2015/03/31(火)09:47:45 ID:hfw()
これからの予定
・vipスレ一覧よりスレNo抽出
・スレNoからスレデータをダウンロード
・ダウンロードデータから内容読取,sqlite3に保存
・表示を考える
60名無しさん@おーぷん :2015/03/31(火)09:48:18 ID:hfw()
第一段階
スレNo抽出
http://sn.im/29t8r4g
61名無しさん@おーぷん :2015/04/01(水)00:18:22 ID:pp4()
スレ500
ダウンロード中
10秒くらいあけたらいいでしょ
62名無しさん@おーぷん :2015/04/01(水)06:06:41 ID:pp4()
つけっぱなしにしてたら
58番目でGateway errorで中断してた
これはいったい何なんだろ
調べなくては
63Awn◆Awn//////E :2015/04/01(水)06:30:35 ID:LNX
502 Error?
64名無しさん@おーぷん :2015/04/01(水)06:41:20 ID:pp4()
表示されたメッセージは
Gatway Timeout
The gateway did not receive a timely response from the upstream server or application


サーバーの不調のせいみたいね
エラー対応のスクリプトにせねば
65Awn◆Awn//////E :2015/04/01(水)06:45:58 ID:LNX
タイムアウトの設定を大きくすれば行ける、とか?(違ってたらスマソ)
66名無しさん@おーぷん :2015/04/01(水)19:40:19 ID:pp4()
うーんー
何度かやっても同じ現象だった
サーバー不調ではなかった
15分ぐらいで同じエラーメッセージ
こっちらのブラウザのせい?
それともあっちのサーバーのせい?
the upstream severっておーぷん側のサーバー?
どっちにせよプログラムを変えないといけない
67名無しさん@おーぷん :2015/04/01(水)19:41:06 ID:pp4()
とりあえず
テスト用に500スレはダウンロードできたので
次のステップに進むつもり
68名無しさん@おーぷん :2015/04/02(木)08:13:52 ID:Ufe()
次のステップ
・db名を決める
・スレタイトルのテーブルをつくる
・タイトルテーブルのソート,文字検索のSQL
・webのページにする
69名無しさん@おーぷん :2015/04/03(金)09:43:44 ID:rr7()
保存したスレデータよりdb作成
それからの表示
スレタイトルのみ

http://sn.im/29tglvp
70名無しさん@おーぷん :2015/04/03(金)09:44:46 ID:rr7()
予定の文字検索はできてない
タイトルの一部に文字化けがあるのは原因不明
71名無しさん@おーぷん :2015/04/04(土)11:08:45 ID:XHy()
文字化けはファイル読み込み時の文字コード指定で解決
検索も追加済み

次のステップは
スレごとの内容をテーブルに追加
72名無しさん@おーぷん :2015/04/04(土)11:10:17 ID:XHy()
現在のデータベースサイズは45k
73名無しさん@おーぷん :2015/04/04(土)16:10:05 ID:XHy()
正規表現を理解するのがきびしい
74Awn◆Awn//////E :2015/04/04(土)19:08:20 ID:gb8
正規表現のオンラインチェッカーを使うとか?
75名無しさん@おーぷん :2015/04/04(土)20:57:30 ID:XHy()
正規表現
まぁなんとか必要なところはできたけど
もっと使いこなすには規則をいろいろ覚えなきゃですわ
76名無しさん@おーぷん :2015/04/06(月)11:14:04 ID:TOp()
とりあえずスレ内検索
http://sn.im/29tpl6q
77名無しさん@おーぷん :2015/04/06(月)11:16:40 ID:TOp()
500スレをsqliteのデータベースに入れるのに
1時間40分かかった
サイズは20MBになった
使ったsqlite3のdbはurl指定するとダウロードできるみたい
78扉あけたら夕暮れ日暮れ◆oLrOIzYbTk :2015/04/06(月)23:08:14 ID:q9D
おお
79名無しさん@おーぷん :2015/04/06(月)23:09:24 ID:TOp()
>>78
はっはっ
わしこういう趣味もあるねんで
80扉あけたら夕暮れ日暮れ◆oLrOIzYbTk :2015/04/06(月)23:13:24 ID:q9D
混乱している
81忍法帖【Lv=17,バラモスゾンビ,VmY】 :2015/04/07(火)12:07:41 ID:BDV
なんかすげえ
82名無しさん@おーぷん :2015/04/08(水)06:24:06 ID:U4R()
>>81
プログラムに興味あるんか?
やりたいとか思ってるのやったら
ガイドするよ
83Awn◆Awn//////E :2015/04/14(火)03:06:38 ID:Z3j
お元気ですか?
84ぷぷもぷん◆C/AS836NQo0. :2015/04/14(火)06:30:55 ID:H6u()
これから元気を出そうかと
85ぷぷもぷん◆C/AS836NQo0. :2015/04/14(火)06:39:20 ID:H6u()
チェックするスレを今まで以上に限定しようかなと思った朝

その為に自動で更新チェックする仕組みが必要だなと。
・レンサバcron
・html差異比較
・twitterAPIで変化をツイート
これぐらいができるようになればいいかなと。
86ぷぷもぷん◆C/AS836NQo0. :2015/04/15(水)08:18:47 ID:mIk()
>>83
コテのテーブル
htmlから抽出してみたよ
http://sn.im/29ugyly

直接url読み込みじゃなくて
一旦ブラウザでソースを保存してからの抽出だけど。
87名無しさん@おーぷん :2015/04/22(水)08:08:08 ID:qHm()
capybaraの試行錯誤中

理解するのきついわー
88名無しさん@おーぷん :2015/04/24(金)21:36:14 ID:FQX()
やっとcapybaraのインストールがうまく行きそうな感じ。
89Awn◆Awn//////E :2015/04/27(月)05:17:44 ID:NnW
本格的にスクレイピングですね
一方おいらはChrome拡張機能を作ったお
90名無しさん@おーぷん :2015/04/27(月)07:11:05 ID:wwE()
>>89
capybara
ローカルでのテストはできたけど
次はレンサバで動作させること
これがまた手ごわい

Chrome
使ってないのよね
FireFoxなんよ

Chromeのブックマークバーが
アドレス欄の上に配置できるなら
いいのだけど
そんな自由度はないんでしょ?
91Awn◆Awn//////E :2015/04/27(月)12:38:34 ID:NnW
ブックマークバーの位置は動かせなさそう…
92名無しさん@おーぷん :2015/04/27(月)18:40:30 ID:wwE()
>>91
コンテンツに近いほどコンテンツとの関連性が深いようにしたいのよね
コンテンツ - アドレス - タブ - ブックマーク - メニュー
下からこの順番で。
それができないのが不思議なくらい
93名無しさん@おーぷん :2015/04/30(木)07:55:44 ID:NTo()
レンサバでcapybaraってのは無理ぽっい
諦めるか
94名無しさん@おーぷん :2015/05/03(日)04:52:35 ID:54i()
ヘッドレスブラウザ
phantomjsというのが動けばよさそうなのだが
無理か・・
95靴下の2つ靴下◆THQv/3bOBo :2015/06/24(水)10:09:05 ID:Eod
http://engawa.open2ch.net/test/read.cgi/mstreaming/1433635524/
96名無しさん@おーぷん :2015/06/24(水)10:55:59 ID:OGO()
>>95
その先をみたよ
涙がとまらない
97名無しさん@おーぷん :2015/06/24(水)11:17:12 ID:OGO()
awabi.open2ch.net/test/read.cgi/mog2/1432915326/278
98名無しさん@おーぷん :2015/06/24(水)11:47:56 ID:OGO()
hayabusa.open2ch.net/test/read.cgi/news4vip/1435070915/314
99名無しさん@おーぷん :2015/06/24(水)12:10:19 ID:Eod
専ブラじゃないとID抽出できないのでしたっけ?
通常ブラウザではできなくって
100名無しさん@おーぷん :2015/06/24(水)12:13:29 ID:OGO()
>>99
通常の場合はブラウザでIDをクリックすれば
それだけ表示される


プログラム的には
指定のスレをダウンロードして
それをデータ化すれば抽出も可能

新着レスの表示 | ここまで読んだ

名前: mail:





テルミナス
CRITEO