Web関連技術の話など
今年5月に催されたCHI 2024の論文をAIに要約してもらってたくさん読んでいたのですが、要約ばかりも味気ないですし、少し気になった論文を深堀りして紹介しようかと。今年のCHIはやはり生成AI関連の論文が多いですが、生成AIはChatGPTなど一般の人にも身近になってきているので、内容も直感的にも分かりやすいものが多い印象でした。 The Effects of Generative AI on Design Fixation and Divergent Thinking 「生成AIのデザインの…
最近はOpenCVを全然触ってなくて、情報を追いかけることも自然と無くなってきた今日この頃ですが、このブログでOpenCVを最後に扱ったのは2019年のこちらのONNXサポートについての記事でした。 OpenCV 4.0のONNXサポートについて – Rest Term 2019年以降は一切使ってないかというとそんなことは無くて、簡単な画像処理が必要な所では小さく活躍してはいました。ただ、近年は画像処理と言っても機械学習が前提のタスクがほとんどで、PyTorchやTensorFlowなどの機械学…
機械学習関連技術の一つであるMLOpsプラットフォームを提供するWeights & Biases Japan株式会社(以下W&B社)は大規模言語モデル(LLM)の開発や、既存モデルのカスタマイズ活用を検討している企業向けホワイトペーパーの日本語版を5/9に公開しました。 無料ホワイトペーパー: 「LLMをゼロからトレーニングするためのベストプラクティス」 まずW&B社の紹介として、同社が提供するWeights & Biases(社名と同名、以下wandb)…
差分プライバシー(Differential Privacy, DP)の概念が提案されてから時間も経ち、実装も複数展開されているのですが、国内だと研究やPoCフェーズでの成果報告がほとんどでプロダクションサービスで利用されている実例はまだまだ少ない現状にあるようです。現時点での状況も含めて技術調査をします。 差分プライバシー(Differential Privacy, DP)とは 概念と理論については日本語情報も豊富なのでそちらの専門サイトの説明を見るのが良いと思います。詳細はLayerXさんやA…
2015,16年頃のIoTブームがあった時にRaspberry Pi 3を買っていろいろ遊んでいたんですけど、簡単なセンサープログラミングを少しやっていつのまにか止めていました。 当時はwikiの方に作業メモを残していますが、おもちゃとしてラズパイで遊んでいた程度です。 IoT – Tech Note Raspberry Piという筐体は高スペックであるため、普通のWeb開発で使っている環境に近づけることは容易で、C言語以外でもアプリケーションは作れるし、各種センサーもSDK経由で使…
12/02にPyTorch 2.0のアナウンスがありました。まだnightly版(α版)で正式リリースされるのは2023年3月頃のようですが、機能自体は試すことができるので早速使ってみました。 12/05現在、絶賛検証中なので結論のようなものは書けませんが、全体の傾向としては概ね公称通りに高速化の効果が認められました。 精度が低下することはない 小さなモデルに対して、学習は速くならず、コンパイルオーバヘッドのためepochsが少ない場合は全体として遅くなる、GPU使用率はAMPだと僅かに低くなる…
ここ3ヶ月くらいPyTorch Lightning (以下 Lightning)を使ってていろいろ機能を調べてます。それでfast.aiでお馴染みのLearning Rate Finder(LR Finder: 最適な初期学習率を探索する仕組み)がLightningにもけっこう昔から実装されているのですが、日本語での紹介がほぼ無いみたいなので情報をまとめておきます。せっかくなのでこのエントリーでは細かいtipsや内部実装なども掘り下げて紹介したいと思います。 環境 * Pytorch 1.12.…
今回も引き続きfunctorchを使っていろいろ試してみます。前回のエントリーはfunctorchの基本機能を紹介しました。今回はfunctorchによる機械学習のユースケースについて考えてみたいと思います。gradやvmapなどの基本機能の説明は前回のエントリーを参照してください。 JAXライクなfunctorchで機械学習を速くする – part 1 いろいろ試してみて気付いたのですが、結論から言うと、functorchは適切に使えば性能を発揮できます。ただし、従来のオブジェクト指向や手続き…