- -pv
スレッドの閲覧状況:
現在、- がスレを見ています。
これまでに合計 - 表示されました。
※PC・スマホの表示回数をカウントしてます。
※24時間表示がないスレのPVはリセットされます。

テルミナス

1fmnr◆c4aILkJNK7BS:2015/03/11(水)19:34:45 ID:7w4()
研究するゴン
65Awn◆Awn//////E :2015/04/01(水)06:45:58 ID:LNX
タイムアウトの設定を大きくすれば行ける、とか?(違ってたらスマソ)
66名無しさん@おーぷん :2015/04/01(水)19:40:19 ID:pp4()
うーんー
何度かやっても同じ現象だった
サーバー不調ではなかった
15分ぐらいで同じエラーメッセージ
こっちらのブラウザのせい?
それともあっちのサーバーのせい?
the upstream severっておーぷん側のサーバー?
どっちにせよプログラムを変えないといけない
67名無しさん@おーぷん :2015/04/01(水)19:41:06 ID:pp4()
とりあえず
テスト用に500スレはダウンロードできたので
次のステップに進むつもり
68名無しさん@おーぷん :2015/04/02(木)08:13:52 ID:Ufe()
次のステップ
・db名を決める
・スレタイトルのテーブルをつくる
・タイトルテーブルのソート,文字検索のSQL
・webのページにする
69名無しさん@おーぷん :2015/04/03(金)09:43:44 ID:rr7()
保存したスレデータよりdb作成
それからの表示
スレタイトルのみ

http://sn.im/29tglvp
70名無しさん@おーぷん :2015/04/03(金)09:44:46 ID:rr7()
予定の文字検索はできてない
タイトルの一部に文字化けがあるのは原因不明
71名無しさん@おーぷん :2015/04/04(土)11:08:45 ID:XHy()
文字化けはファイル読み込み時の文字コード指定で解決
検索も追加済み

次のステップは
スレごとの内容をテーブルに追加
72名無しさん@おーぷん :2015/04/04(土)11:10:17 ID:XHy()
現在のデータベースサイズは45k
73名無しさん@おーぷん :2015/04/04(土)16:10:05 ID:XHy()
正規表現を理解するのがきびしい
74Awn◆Awn//////E :2015/04/04(土)19:08:20 ID:gb8
正規表現のオンラインチェッカーを使うとか?
75名無しさん@おーぷん :2015/04/04(土)20:57:30 ID:XHy()
正規表現
まぁなんとか必要なところはできたけど
もっと使いこなすには規則をいろいろ覚えなきゃですわ
76名無しさん@おーぷん :2015/04/06(月)11:14:04 ID:TOp()
とりあえずスレ内検索
http://sn.im/29tpl6q
77名無しさん@おーぷん :2015/04/06(月)11:16:40 ID:TOp()
500スレをsqliteのデータベースに入れるのに
1時間40分かかった
サイズは20MBになった
使ったsqlite3のdbはurl指定するとダウロードできるみたい
78扉あけたら夕暮れ日暮れ◆oLrOIzYbTk :2015/04/06(月)23:08:14 ID:q9D
おお
79名無しさん@おーぷん :2015/04/06(月)23:09:24 ID:TOp()
>>78
はっはっ
わしこういう趣味もあるねんで
80扉あけたら夕暮れ日暮れ◆oLrOIzYbTk :2015/04/06(月)23:13:24 ID:q9D
混乱している
81忍法帖【Lv=17,バラモスゾンビ,VmY】 :2015/04/07(火)12:07:41 ID:BDV
なんかすげえ
82名無しさん@おーぷん :2015/04/08(水)06:24:06 ID:U4R()
>>81
プログラムに興味あるんか?
やりたいとか思ってるのやったら
ガイドするよ
83Awn◆Awn//////E :2015/04/14(火)03:06:38 ID:Z3j
お元気ですか?
84ぷぷもぷん◆C/AS836NQo0. :2015/04/14(火)06:30:55 ID:H6u()
これから元気を出そうかと
85ぷぷもぷん◆C/AS836NQo0. :2015/04/14(火)06:39:20 ID:H6u()
チェックするスレを今まで以上に限定しようかなと思った朝

その為に自動で更新チェックする仕組みが必要だなと。
・レンサバcron
・html差異比較
・twitterAPIで変化をツイート
これぐらいができるようになればいいかなと。
86ぷぷもぷん◆C/AS836NQo0. :2015/04/15(水)08:18:47 ID:mIk()
>>83
コテのテーブル
htmlから抽出してみたよ
http://sn.im/29ugyly

直接url読み込みじゃなくて
一旦ブラウザでソースを保存してからの抽出だけど。
87名無しさん@おーぷん :2015/04/22(水)08:08:08 ID:qHm()
capybaraの試行錯誤中

理解するのきついわー
88名無しさん@おーぷん :2015/04/24(金)21:36:14 ID:FQX()
やっとcapybaraのインストールがうまく行きそうな感じ。
89Awn◆Awn//////E :2015/04/27(月)05:17:44 ID:NnW
本格的にスクレイピングですね
一方おいらはChrome拡張機能を作ったお
90名無しさん@おーぷん :2015/04/27(月)07:11:05 ID:wwE()
>>89
capybara
ローカルでのテストはできたけど
次はレンサバで動作させること
これがまた手ごわい

Chrome
使ってないのよね
FireFoxなんよ

Chromeのブックマークバーが
アドレス欄の上に配置できるなら
いいのだけど
そんな自由度はないんでしょ?
91Awn◆Awn//////E :2015/04/27(月)12:38:34 ID:NnW
ブックマークバーの位置は動かせなさそう…
92名無しさん@おーぷん :2015/04/27(月)18:40:30 ID:wwE()
>>91
コンテンツに近いほどコンテンツとの関連性が深いようにしたいのよね
コンテンツ - アドレス - タブ - ブックマーク - メニュー
下からこの順番で。
それができないのが不思議なくらい
93名無しさん@おーぷん :2015/04/30(木)07:55:44 ID:NTo()
レンサバでcapybaraってのは無理ぽっい
諦めるか
94名無しさん@おーぷん :2015/05/03(日)04:52:35 ID:54i()
ヘッドレスブラウザ
phantomjsというのが動けばよさそうなのだが
無理か・・
95靴下の2つ靴下◆THQv/3bOBo :2015/06/24(水)10:09:05 ID:Eod
http://engawa.open2ch.net/test/read.cgi/mstreaming/1433635524/
96名無しさん@おーぷん :2015/06/24(水)10:55:59 ID:OGO()
>>95
その先をみたよ
涙がとまらない
97名無しさん@おーぷん :2015/06/24(水)11:17:12 ID:OGO()
awabi.open2ch.net/test/read.cgi/mog2/1432915326/278
98名無しさん@おーぷん :2015/06/24(水)11:47:56 ID:OGO()
hayabusa.open2ch.net/test/read.cgi/news4vip/1435070915/314
99名無しさん@おーぷん :2015/06/24(水)12:10:19 ID:Eod
専ブラじゃないとID抽出できないのでしたっけ?
通常ブラウザではできなくって
100名無しさん@おーぷん :2015/06/24(水)12:13:29 ID:OGO()
>>99
通常の場合はブラウザでIDをクリックすれば
それだけ表示される


プログラム的には
指定のスレをダウンロードして
それをデータ化すれば抽出も可能
101名無しさん@おーぷん :2015/06/24(水)12:13:50 ID:OGO()
これから出かけるので
また夜にでも
102名無しさん@おーぷん :2015/06/24(水)12:26:40 ID:Eod
板全体は無理なのかな
6/24のvipとなんありを
‥‥
103名無しさん@おーぷん :2015/06/24(水)16:51:22 ID:Eod
昔の酉で検索

260 :触雷! ◆0jC/tVr8LQ :2010/06/13(日) 21:32:15 ID:uxqRNGO8
学校から帰ると、家の前に人がうつぶせになって倒れていた。
「あっ……」
遠目にその人を見つけた僕は、すぐに走り寄った。鞄を投げ出し、肩を揺さぶってみる。
「もしもし。大丈夫ですか?」
「んっ……」
声が聞こえた。よかった。生きている。呼吸が止まったりもしていないようだ。抱き起して仰向けにする。
「…………」

仮に同一人物だとして8歳でパソコン使ってSS書けるのかな‥
104名無しさん@おーぷん :2015/06/24(水)16:52:22 ID:Eod
どうしても良い方向で考えてしまう
わからないんだけどね
105名無しさん@おーぷん :2015/06/24(水)17:02:35 ID:OGO()
>>102
それやってみます
106名無しさん@おーぷん :2015/06/24(水)17:04:19 ID:OGO()
>>103
昔のトリはトリバレしたことがあるらしい
つまり
誰でわかるトリだったかもしれない
同一人物だったかの確認が必要になる
107靴下の2つ◆THQv/3bOBo :2015/06/25(木)11:53:41 ID:EwL
色々見て回ったけど特定作業しているみたいでやめました
確定的な情報がでない限り
ただ居なくなったという状態なんだろうなと思うことにするよ
108名無しさん@おーぷん :2015/06/26(金)19:42:02 ID:C7Q()
>>103
http://hayabusa.open2ch.net/test/read.cgi/news4vip/1425913453/
109名無しさん@おーぷん :2015/06/27(土)10:14:30 ID:QlA
http://hayabusa.open2ch.net/test/read.cgi/news4vip/1433557241/722

http://hayabusa.open2ch.net/test/read.cgi/news4vip/1433557241/788-796
110名無しさん@おーぷん :2015/10/12(月)22:24:56 ID:1Ol()
おおお
ひさしぶり
111名無しさん@おーぷん :2015/10/12(月)22:25:24 ID:1Ol()
強制sageにはなってなかった
112名無しさん@おーぷん :2015/10/18(日)07:35:54 ID:V5i
http://awabi.open2ch.net/test/read.cgi/mog2/1432915326/371-
113らんらん◆IMWagR89Dsve :2016/06/08(水)17:04:22 ID:d0H
ソイヤ!ソイヤ!!
114名無しさん@おーぷん :2016/06/09(木)22:12:51 ID:YTX
なんやねん

新着レスの表示 | ここまで読んだ

名前: mail:





テルミナス
CRITEO