のーずいだんぷ

主に自分用メモですが、もしかしたら誰かの役に立つかもしれません

<python>json.load()でjsonを読み込めない(jsonlinesを読み込む方法)

はじめに 対策 raw_decode()とは? jsonlinesファイルで実験してみる json.loadでデコードしてみる。 JSONDecoder.raw_decode()でデコードしてみる 原因 おわりに はじめに 自然言語処理100本ノックの3章20番の問題を解いているときに詰まったエラー。 Pytho…

pre-commitでisortの設定ファイルをpyproject.tomlにする

はじめに 競合する理由 解決する方法 参考 はじめに pyproject.tomlでblackとisortの競合を修正して、実行したところ、以下のように競合&warningメッセージが出力された。 /path-to-your-directory/.cache/pre-commit/reponx26mlg0/py_env-python3/lib/pytho…

複数言語が混在したプロジェクトでlinterとformatterをgit-commitにフックする

はじめに 複数言語をすべてgit-hookで連携するのはしんどい git-hook連携ツール:pre-commitを使用する インストール 設定ファイル 設定の反映 単純な実行 汎用的なチェック 各言語の方針 Python pre-commitへのhook設置 各設定ファイル Node.js 1. pre-commi…

はてなブログでvimを使いたい

はじめに Chromeなら拡張機能「wasavi」をつかおう はてなブログで使用するとどうなるか リアルタイムプレビュー機能は問題なく使用可能 写真投稿はエディタを閉じないと不便 リンクも埋め込み機能はエディタ起動時は使えない それでもvimが使用できるのは便…

15stepで踏破 自然言語処理アプリケーション開発入門 を読んだ

本書の感想 本書の構成 学習まとめ 本書の感想 私は自然言語処理のサービスを提供する会社に勤めているのだが、そろそろ自然言語処理の仕事をする必要が生じたため、とっかかりとして以下の本で勉強した。 15Stepで踏破 自然言語処理アプリケーション開発入…

僕のブログ継続を支える3つの工夫

はじめに 技術1:すべての技術メモはブログの下書きにする 技術2:記事のアウトラインをテンプレート化 技術3:色々なブログの読者になる 最後に はじめに タイトルの通り、自分がブログを継続するために意識している事やその取組を記事化してみた。 タイ…

2020年の目標はどうしようか

振返りは先日したけれど… 自分が何を目指すのか? なぜプロになりたいのか なんのプロになりたいのか? でも自分は怠惰なので… 結果どうしたいのか? ところで目標は? なんとか頑張ろう…地道に…堅実に… 振返りは先日したけれど… 以下の通り、毎月の振返りを…

プログラマ1年目、2019年12月の振返り

プログラマとしての1年目が終わった 実績確認 GitHubのContribution ブログ 読書 読了(一旦必要な知識は読み終えたと感じたもの) 読書中(少しでも読んだもの) 勉強会 前月の振返りと今月の目標決定 Keep Problem Try 全体的な所感 2019年の所感 終わりに プ…

<Mac>MeCabをMacへインストール/アンインストール/文字化け対処

はじめに mecabエンジンのインストール エンジンのインストール 辞書のインストール 文字化け対処 MeCabのアンインストール はじめに タイトルの通り、mecabの導入についての備忘録。 散々qiita等で記事にされているが、今日時点でのうまく行った結果として…

<Java>H2DBの例外:SQLExceptionをエラー内容によってハンドリングをしたい

はじめに JavaのJDBCのエラーについて SQLExceptionのエラーコードを使おう エラーコードとは? 実際のコード 終わりに はじめに とあるアプリケーションのデータベースとして、H2を採用していた。そのアプリケーションでは問題があり、都合上DBへ挿入するデ…

<AWS>EC2のuser-dataでメインアプリケーションの実行をしてはいけない

はじめに システムの概要 user-dataとは? どういう問題が起こったのか? この問題の特徴 原因と解決策 はじめに 本記事はタイトルについての不具合の備忘録である。 正直、私の未熟さ故の不具合であり普通のエンジニアならこんな失敗はしないものと思うが、…

<AR>Amazon Sumerian で ARをはじめてみた

はじめに 今回やってみたこと 必要な知識 該当のチュートリアル マーカーレスAR Sumerianプロジェクト作成 オブジェクトを配置 ARkitで使用するURLのビルド ARkit側の設定 実行結果 画像認識(マーカーあり)AR Sumerianでオブジェクトを準備 Sumerianエンティ…

Lambdaでseleniumを使ってフォームテストを自動化してみた

はじめに ソースコード Lambdaデプロイパッケージの準備 seleniumとheadless-chromeをインストール lambdaへデプロイ パッケージ構成 Lambdaへデプロイ 参考 はじめに サイトの問い合わせフォームの調子が時折悪くなるため、seleniumとheadless-chromeを使用…

<GCP>Google BigQueryのテーブルのパーティション列とは

はじめに パーティション列とは? パーティション・プルーニング 終わりに 参考 はじめに 最近仕事でGCPのサービスの一つ、Google BigQueryを使用することとなった。 使用する、と入ってもひとまずクエリを作成して中身を確認するだけなのだがその中で初めて…

<Scala>await resultによるOOMErrorで苦しんだときに学んだこと

はじめに 遭遇したバグ 発生したバグについて OOMErrorには種類があるということ 調査にはヒープダンプをとるのが最も簡単な方法 結局の原因 await resultのネストの危険性 最後に 参考 はじめに 職場で遭遇したかなり苦しかったバグについて、具体的なコー…