pythonでなんJから会話データ抽出するプログラム回して1日経った

1 ：風吹けば名無し：2019/12/06(金) 00:04:07.47 ID:q4hhkTsSM.net

まだ全体の5%くらいしか終わってない模様

2 ：風吹けば名無し：2019/12/06(金) 00:04:40.71 ID:q4hhkTsSM.net

なんJ舐めてたわ
これやべえデータ量になる

3 ：風吹けば名無し：2019/12/06(金) 00:04:43.20 ID:237mgr9z0.net

それサーバーに負荷かけないの？

4 ：風吹けば名無し：2019/12/06(金) 00:04:48.91 ID:/o/X2dPO0.net

ソース先っぽだけでいいから見せてよ

5 ：風吹けば名無し：2019/12/06(金) 00:05:12.85 ID:q4hhkTsSM.net

>>3
まあ一応ちゃんと間隔は空けてるから大丈夫だと思うけど

6 ：風吹けば名無し：2019/12/06(金) 00:05:13.36 ID:yY5vPjhu0.net

当たり前じゃろ
あとよく知らんけどパイソンってくっそ遅いって聞いたで

7 ：風吹けば名無し：2019/12/06(金) 00:05:45 ID:18gQSmVU0.net

卒研か

8 ：風吹けば名無し：2019/12/06(金) 00:06:40.58 ID:q4hhkTsSM.net

5%も終わってねえな
計算したら1.6%

9 ：風吹けば名無し：2019/12/06(金) 00:07:57.30 ID:mhsVUaNy0.net

なんJからって
分母はいつからいつのなんjなんや

10 ：風吹けば名無し：2019/12/06(金) 00:08:05.60 ID:q4hhkTsSM.net

もっとNGワードとか最低レス数高く設定するべきやったかな

11 ：風吹けば名無し：2019/12/06(金) 00:08:22 ID:0tbozOXo0.net

煽り合いばっか集まりそう
何レスも続く会話って限られとるし

12 ：風吹けば名無し：2019/12/06(金) 00:08:23 ID:KUVRD+hX0.net

うんち

13 ：風吹けば名無し：2019/12/06(金) 00:08:49 ID:q4hhkTsSM.net

>>9
swallow鯖に移転してから

14 ：風吹けば名無し：2019/12/06(金) 00:08:57 ID:lHhATYbL0.net

二ちゃんのレスを取得するAPIとかあるンゴ？🤔

15 ：風吹けば名無し：2019/12/06(金) 00:09:39.83 ID:p/d8vAki0.net

あぁなに、リアルタイムにじゃなくて過去ログからも掻き集めてるのか。
なんか変に流行過ぎたネットスラングとか使ってきそうやな

16 ：風吹けば名無し：2019/12/06(金) 00:11:06.97 ID:0tbozOXo0.net

ワイのレスバも使われるかと思うと胸が熱いで

17 ：風吹けば名無し：2019/12/06(金) 00:11:16.87 ID:q4hhkTsSM.net

>>4
いまのコードひっどいからだめ
リファクタリングした後ならええで

18 ：風吹けば名無し：2019/12/06(金) 00:11:52.66 ID:wxiJseb+0.net

なんJ民が会話してるとは思えんの矢が

19 ：風吹けば名無し：2019/12/06(金) 00:12:33.12 ID:JVfP+Xx50.net

それでなにするんや

20 ：風吹けば名無し：2019/12/06(金) 00:12:50.51 ID:xdPTNSeD0.net

「SNSに投稿されている完璧に見える写真」現実の姿はこれ
http://www.85.plnntt.com/aim/gagac

21 ：風吹けば名無し：2019/12/06(金) 00:13:14.46 ID:DM9xpMTG0.net

底辺陰キャ同士の会話データとかある意味貴重かもな
Facebookとかでは絶対収集できないやろ

22 ：風吹けば名無し：2019/12/06(金) 00:13:16.65 ID:Awome3ncK.net

ワイが立てたクソ定期スレも全部こびりついとるわけか

23 ：風吹けば名無し：2019/12/06(金) 00:13:35.73 ID:cw99Df9zd.net

会話データって何

24 ：風吹けば名無し：2019/12/06(金) 00:13:41.50 ID:P0vOMgXM0.net

>>19
BOTが作れる

25 ：風吹けば名無し：2019/12/06(金) 00:14:20.26 ID:q4hhkTsSM.net

>>15
リアルタイムは完全無視や
たしか11/20あたりまでで一度スレのURLを全部テキストファイルに書き出して、それをクロールしてる感じや

26 ：風吹けば名無し：2019/12/06(金) 00:14:34.33 ID:4y24RWIs0.net

スクレイピングは犯罪ちゃうんか？

27 ：風吹けば名無し：2019/12/06(金) 00:16:03 ID:dwP16nq10.net

それ収集して何を分析するの？

28 ：風吹けば名無し：2019/12/06(金) 00:16:03 ID:A240pkPs0.net

>>26
公開されてるデータを切り貼りするのの何が罪やねん

29 ：風吹けば名無し：2019/12/06(金) 00:16:49 ID:q8ZJHRZU0.net

ガイジの出現回数多そう

30 ：風吹けば名無し：2019/12/06(金) 00:16:56 ID:A240pkPs0.net

分業できんのか？

31 ：風吹けば名無し：2019/12/06(金) 00:17:12 ID:237mgr9z0.net

得た情報(著作物)から金儲けはダメ
サーバーに負荷かけたらダメ

まぁ一般論だけど

32 ：風吹けば名無し：2019/12/06(金) 00:17:16.25 ID:wQwfSsdiD.net

>>26
せやで
でも5chのサーバアメリカにあるからセーフなんやで

33 ：風吹けば名無し：2019/12/06(金) 00:18:01 ID:G9UZJrGY0.net

APIキー持ってんの？過去ログ無理やり取得してるとどっかでアクセス制限かけられるんちゃうか

34 ：風吹けば名無し：2019/12/06(金) 00:18:17.08 ID:LwBr+3Mp0.net

GitHubのアカウント教えてくり〜

35 ：風吹けば名無し：2019/12/06(金) 00:18:18.50 ID:6SpG8Q0P0.net

ワイの友達も間隔開けてっからとか言ってたけどQiitaにめっちゃ迷惑かけてたぞ

36 ：風吹けば名無し：2019/12/06(金) 00:18:43.05 ID:zktmmVyN0.net

第二のGIFガイジみたいなの作る気か？

37 ：風吹けば名無し：2019/12/06(金) 00:18:44.73 ID:hdNLP5Gqd.net

スロットガイジにめちゃくちゃにされそう

38 ：風吹けば名無し：2019/12/06(金) 00:18:56 ID:3jDIw2G/0.net

何に使うんや？

39 ：風吹けば名無し：2019/12/06(金) 00:19:10.73 ID:x5KUIk1Z0.net

スクレイピングに時間かかってんの？それともデータ抽出に時間かかってんの？

40 ：風吹けば名無し：2019/12/06(金) 00:19:17.58 ID:nEVPkElb0.net

1秒間隔程度なら罪にはならんやろ

41 ：風吹けば名無し：2019/12/06(金) 00:20:09.11 ID:ZJ9cp4hM0.net

負担かかるんだから辞めとけ

42 ：風吹けば名無し：2019/12/06(金) 00:20:52.81 ID:q4hhkTsSM.net

ホンマはTwitterでやるべきなんやろけどな
でもTwitterで抽出するやつはもう確立されてたからやりたくなかったんや
すまんな

43 ：風吹けば名無し：2019/12/06(金) 00:21:34 ID:G9UZJrGY0.net

ちゃんと間隔開ければ罪にはならんけどそもそも3日も回してたら普通に運営から怒られてアクセスできんくなると思う

44 ：風吹けば名無し：2019/12/06(金) 00:21:55 ID:9WY5eRcH0.net

スクレイピングか?

45 ：風吹けば名無し：2019/12/06(金) 00:23:09.30 ID:9WY5eRcH0.net

レス取得するだけならdatだけ取ればええんちゃう

46 ：風吹けば名無し：2019/12/06(金) 00:23:43.93 ID:F0SNDT7Ma.net

ちょっと前に特定のワードに反応して書き込むbotおったろ

47 ：風吹けば名無し：2019/12/06(金) 00:23:55.08 ID:r8UZgWCe0.net

負荷かけてるのバレたら終わりやで

48 ：風吹けば名無し：2019/12/06(金) 00:24:51.60 ID:ZFEF+i9u0.net

ひえー
なんJ荒らさないでクレメンス

49 ：風吹けば名無し：2019/12/06(金) 00:25:08 ID:i9A+wdat0.net

やだこわい😰

50 ：風吹けば名無し：2019/12/06(金) 00:25:26 ID:l+gPjPoBM.net

うんち

51 ：風吹けば名無し：2019/12/06(金) 00:25:34.98 ID:9y2+/qdXa.net

あなる

52 ：風吹けば名無し：2019/12/06(金) 00:25:51.77 ID:9dyS+msfd.net

datなりログ速なりあるやろ

53 ：風吹けば名無し：2019/12/06(金) 00:26:19 ID:hOdcjxhk0.net

gifガイジは運営に怒られて一生アク禁喰らったんかな

54 ：風吹けば名無し：2019/12/06(金) 00:26:26 ID:G9UZJrGY0.net

負荷の問題やなくてそもそもサービス上の規約として禁止行為のはずやから見逃せないレベル超えたら止められてまう
で、これは間隔の問題やなくて回数の問題や
まあ止められるだけやけどな

55 ：風吹けば名無し：2019/12/06(金) 00:27:17.90 ID:dpDAuGAE0.net

gifガイジは最近はもうおらんの？

56 ：風吹けば名無し：2019/12/06(金) 00:27:31.91 ID:zowjKgkb0.net

glfガイジ2世でも作る気か

57 ：風吹けば名無し：2019/12/06(金) 00:27:47.10 ID:A240pkPs0.net

浪人買って回せばええやろ
スクレイピングが犯罪とかほざくならまずF9処刑しろや

58 ：風吹けば名無し：2019/12/06(金) 00:28:17 ID:G9UZJrGY0.net

ちなみにワイはAPI移行期に勢いとレス数加味してなんjのトレンドワードを抽出してワードクラウド化するやつ作ってたら借りてたサーバーのアカウントごと消された

59 ：風吹けば名無し：2019/12/06(金) 00:28:41 ID:oWt2R1GW0.net

既にAI同士で会話している可能性もあるわけだな
下品な言葉覚えさせたらアカンですわよね

60 ：風吹けば名無し：2019/12/06(金) 00:28:59.93 ID:L1IVOUNV0.net

会話データってなに？

61 ：風吹けば名無し：2019/12/06(金) 00:29:42 ID:L1IVOUNV0.net

いやあ照れるわ

62 ：風吹けば名無し：2019/12/06(金) 00:30:38 ID:lzBGHLheM.net

datってどこから落とすんや？

63 ：風吹けば名無し：2019/12/06(金) 00:31:40.30 ID:lzBGHLheM.net

使いみちはチャットボットやで
まあなんJには使わんつもりや
ウェブページにでも置いとくつもり

64 ：風吹けば名無し：2019/12/06(金) 00:31:48.76 ID:whaABMx10.net

なんか最近重いと思ってたんやけど、お前の仕業か
ふざけんなや

65 ：風吹けば名無し：2019/12/06(金) 00:32:20.82 ID:ETMK7tcI0.net

>>58
詳しく