no image

python初心者でも理解できるtime,datetime,timedeltaオブジェクト

time系のモジュールを勉強したので、とりあえずoutputしておこうと思います。 Pythonのtime系モジュール timeモジュール time.time() エボックタイムスタンプというものを返す。エボック時間とは世界標準できめられて…

ココナラブルーオーシャンスキル発掘でpandasが使えないのでlibreoficeeで無理矢理やってみた

pythonのpandasというモジュールがあるのですが、勉強不足なので使い方がわからず、csvモジュールを使ってスクレイピングしてみたという記事です。 pandasを使わずにcsvモジュールで代用する libreoficeeでいいね数(列…

素人がJupyter Notebookを使えるようにする

Jupyter Notebookってなに? anacondaというpythonのディストリビューションをインストールすると一緒についてくるソフト。このソフトを使うことによって色々なデータ分析ができるようになるらしい。 Jupyter Not…

no image

python初心者がスクレイピングの問題点を列挙してみた

他人のコードでココナラをスクレイピングしてブルーオーシャンスキルを発掘しようという試みをしている方がいらっしゃいました。僕はそのコードをコピペして、なんとか動かすことはできたのですが、いろいろと問題が生じたので問題点を素人目線で語ってみよう…

ほりまくれ!初心者でもスクレイピングはできる。【python,bs4】

googleの検索結果をひたすら表示するスクレイピングコード googleで検索したいキーワードがあるときに、キーワードを自分で決めて、それをプログラムで開くようにするとはやくWEBページを開けるというものです。(今回のプログラムはテキスト…

知ってると便利なコマンドプロンプトの小ネタ【スクロール、文字色の変更】

スクロールと文字色の変更でコマンドプロンプトを快適に。 コマンドプロンプトの文字色や背景色を変更する コマンドプロンプトって文字色や背景色が変更できるってしってましたか? 矢印でしめしているバーのどこでもいいので右クリックをするとメニューが…

no image

pythonを使ってQuiitaのページをスクレイピングする

スクレイピング初心者ですが、どのような意図があってこういう技術がでてきてかはわかりません。ただ、このスクリプトを学んでいくと副産物?という言い方はおかしいかもしれませんが、情報収集の効率があがります。 ただ収集された情報からお気に入りをみつ…

やってみた【ヤフーニュース50個ひらいた】

webbrowseropenを使ってブラウザ何個開けるかやってみた pythonのwebbrowseropenを使って、yahooニュースを50個ひらいたらどうなるのか検証してみました。 pythonのwebbrowseropenってなに?…

no image

ヘッドレスchromeでgoogle翻訳とってみた

ヘッドレスchromeを使ってみた 前回の記事で「phantomjsはいらない?ヘッドレスchromeとはなんですか?」というのを書きました。 要点は動的ページなどでwebスクレイピングするには、ブラウザを使う必要があるということでした。(…

no image

phantomjsはいらない?ヘッドレスchromeとはなんですか?

ヘッドレスブラウジングがchromeドライバーでできるみたい 最近はpythonのネタばかりしかやっていません。この界隈のネタは取り扱って記事にした時点で、情報が古い可能性すらあります。どんどん情報が新しくなっている感覚があります。phan…

no image

google翻訳の翻訳結果を取得する【bs4 VS find_elements】

soup.select()とfind_elementsではどっちがはやいのか? 前回の記事で「Google翻訳で翻訳された文章をとってくる【python, PhantomJS】」というのを書いた。結果的にはphantomjs+seleniu…

no image

二重forループは使えない。webbrowseropen【python】

webbrowseropenを2重forループしようとすると失敗する? webbrowseropenってなに? pythonではwebbrowseropenというモジュールを使うことによってブラウザを開くことができます。 プログラムコードの…

no image

Google翻訳で翻訳された文章をとってくる【python, PhantomJS】

pythonでサイトにとばずにgoogle翻訳させる 前回の計画【webスクレイピング計画【実行したらグーグル翻訳に飛ばして、訳を受け取って表示する。】】ではbs4とrequestsとpyperclipを使ってgoogle翻訳をとってこよう…

no image

お天気情報の取得でAPI入門【python,JSON,API】

お天気情報の取得でAPI入門 APIってなんですか?ときかれたら、僕にもわかりません。となってしまいます。しかし待ってください。ひとつ言えることは、APIが何らかのデータを返すということでしょう。 APIが扱えるデータは決まっています。 文…

no image

webスクレイピング計画【実行したらグーグル翻訳に飛ばして、訳を受け取って表示する。】

webスクレイピングでグーグル翻訳に英文をとばす方法 requestsとbs4とpyperclipモジュールを使ってエラー内容をgoogle翻訳に送って、日本語訳を受け取る。 クリップボードにエラー内容をコピーする。 プログラムを実行すると…

no image

【python】【JSON】耐久戦完全敗北

PythonでJSONファイルを扱うにはどうすればいい? JSONデータはpythonの辞書みたいな形 辞書と違う点は項目をダブルクォートで囲んでいること json.loads() → JSONデータをPythonの辞書に変換する json…