YusyuFolio

2023-11-15 ChatGPT

誰でもできる簡単ChatGPTのfine-tuning！！

ChatGPTのファインチューニング、やっぱ難しいんじゃないのお？と思ったそこのあなた！実はとっても簡単なんです！！ではまず手順について説明していきます手順モデルの決定(chatモデルではない)プロンプトの作成キャッシュDBの割り当てデータの収集jsonlファイルの作成・正例と負例の分類ファインチューニングたったの6ステップ！しかもファインチューニングだけなら無料でできますそれでは詳しく説明していきます手順1まず最初に適当なモデルの決定を行なってください。ここではchatモデルは使いません。理由としましては、手順3のキャッシュDBを使えないからです。今回、このキャッシュDBを使うことでデータの整形がさらに簡単になることを説明していきたいので、キャッシュDBを使うことを想定して説明を続けていきます。chatモデルではないモデルの例) text-davinci-003,text-davinci-002手順2プロンプトの作成を行います。好きなプロンプトを書いてください。後々整形したい場合も出てくる可能性もあるので、最初は短めで書いてみるといいかもしれません。(json形式にするとちょっと崩れる)手順3キャッシュDBの割り当てを行います。と言っても既存のLLMモデルを扱うコードに以下の数行を書き加えるだけです。from langchain.cache import SQLiteCache langchain.llm_cache = SQLiteCache(database_path="langchain_cache.db")また、この際、VSCodeで実行している方は、SQLite Viewerという拡張機能を追加することで、簡単に中身を見ることができます。そこで何となく、どんな感じで入るかを確認しておいてください。手順4データの収集を行います。これはただ何度も実行していただくだけで結構です。正例と負例を大体それぞれ50個ずつくらいになるように集めると良いでしょう。手順5続いてjsonlファイルの作成・正例と負例の分類を行なっていきます。簡単に言うとfine-tuningに用いる学習データのためのデータの整形です。まず、sqlitedatastore.pyというファイルを作り、以下のコードを貼り付けますこちらはキャッシュDBを操作するためのSQLのコードを集めておくためのファイルになりますimport json import sqlite3 conn = None def connect(db_name="langchain_cache.db"):     global conn     conn = sqlite3.connect(db_name) def close():     conn.close() def get(id, fl):     row_ls = conn.execute("SELECT {} FROM full_llm_cache WHERE rowid = ?".format(",".join(fl)), (id,)).fetchone()     row_dict = {}     if row_ls is None:         return None     for key, value in zip(fl, row_ls):         row_dict[key] = value     return row_dict def get_all_ids(limit, offset=0):     return [record[0] for record in conn.execute("SELECT rowid FROM full_llm_cache LIMIT ? OFFSET ?", (limit, offset))]続いて、sqlitedatastore.pyのコードを使ってキャッシュDBを扱うためのファイルを作ります。ファイル名は何でもいいですが、ここではcache_db.pyとしておきます。そしてcache_db.pyに以下のコードを貼り付けてください。import sqlitedatastore as datastore import json class Cache_db:     def connect(self):         datastore.connect()          def close(self):         datastore.close()              def get(self, id):         return datastore.get(id, fl=["prompt", "response"])          def get_all(self):         json_data_list = []         for ID in datastore.get_all_ids(limit=-1):             json_data = self.get(ID)             json_data_format = {                 "prompt": json_data.get("prompt"),                 "completion": json_data.get("response")             }             json_data_list.append(json_data_format)         return json_data_list if __name__=="__main__":     dc = Cache_db()     dc.connect()          jsonl_data = dc.get_all()     with open('training_data.jsonl', 'w') as f:         f.writelines([json.dumps(l, ensure_ascii=False)+"\n" for l in jsonl_data])          dc.close()上記のcache_db.pyを実行することで、jsonlファイルの作成は完了です。続いて正例と負例の分類ですが、こちらは自身が持つ正解を元に、training_data.jsonlをsuccessful.jsonlとfailed.jsonlに仕分けてもらえれば大丈夫です。コードでできる場合は、コードで。難しそうであれば手作業でも問題ないです。手順6最後にfine-tuningを行なっていきます。こちらはOpenAIのサイトに行って、successful.jsonlとfailed.jsonlをアップするだけで終わりますいかがだったでしょうか！以上でfine-tuningは完了です。手順は6つと少ないステップで簡単にできてしまうのがChatGPTのすごいところです。しかし、fine-tuningには少し時間がかかってしまうので、時間がある時にやっておくと良いでしょう。また、ローカルで今回fine-tuningをしたモデルを使いたい方、そしてローカルからfine-tuningをしたい方は以下のサイトを参考にすると良いかもしれませんurl: https://qiita.com/ksonoda/items/b9fd3e709aeae79629ff

2023-11-10 VPSへのデプロイ

djangoをさくらのVPSにデプロイ！〜VPSにSSH〜

本ブログに掲載している内容を順番にあげています。また、本ページではドメインの取得法について説明をします。VPSのレンタルドメインの取得 VPSにSSH <- ここ環境変数やコマンドの設定アプリケーションのデプロイuwsgiの設定nginxの設定VPSにSSH今回はVPSにSSH接続するための手順について説明します。(sshでアクセスせずに、コンソール画面からVPSを触るよって人は必要ないです。)これも方法はシンプルで以下の5つのステップに沿って行うことですぐにできますSSHキーの作成(公開鍵と秘密鍵をRSA暗号を用いて作成)公開鍵を登録しているVPSにコピペ1. SSHキーの作成(参考)まず、SSHキーを作成し、置いておく場所をカレントディレクトリとするため、移動をします$cd ~/.sshそしてSSHキーを発行するためのコマンドを打ちますここではファイル名とパスフレーズの入力を求められますが、筆者はfugaというファイル名でパスフレーズを無しにして発行をしています。また、このファイル名についても無しにすることができます。パスフレーズは秘密鍵にアクセスするためのパスワードになっており、登録すればさらにセキュリティを上げることができます。$ssh-keygen Generating public/private rsa key pair. Enter file in which to save the key (/Users/ユーザ名/.ssh/id_rsa): fuga Enter passphrase (empty for no passphrase): Enter same passphrase again: Your identification has been saved in fuga Your public key has been saved in fuga.pub The key fingerprint is: SHA256:NIKUL9Ezccft2pl9mxg+IHS7RH0PxucSrl+Xbxlb The key's randomart image is: +---[RSA 3072]----+ | .o...... | | .o.+. .. . | | .o.oo ... | | . .o o o..=..| | . S oo.*.=.| | ..++.+.*| | o +.++@| | ..E B+| | o=..| +----[SHA256]-----+$ls fuga  fuga.pub $chmod 600 fuga左のfugaが秘密鍵で、右のfuga.pubが公開鍵になります。また、chmod 600で秘密鍵のfugaの閲覧権限を上げています。他のユーザーからアクセスできる状態であると使えないためです。これでssh-keyの作成は完了です。2. 公開鍵を登録しているVPSにコピペ続いて公開鍵を自分が登録しているVPSに渡します。渡す方法は至って簡単で、まずさくらのVPSにログインし、SSHキー管理というところに遷移しますすると右上の方にSSHキー登録というボタンがあるのでそこを押しますそうすると以下のような画面が現れてくると思います名前は適当な名前にして頂いて、公開鍵には先ほど作成した.pubの方の中身をコピペします方法としては、catコマンドを打つと全部出てくるのでそれらを全部コピーして公開鍵の枠の中に貼ります$sudo cat fuga.pub ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABgQC1/HXtHJYcspkTfGN2zt8+q8YcQzlfiHHbhXK2wdoY749fN8ZXyD5eb/kgJXNkpzUqpAWvXNHMdk+JTzJHLe3erzUSUQ/Gm90SaEOdcyJPxlBjRWrW/xCTjM8Xi6tZdfyv6AI8lczfMj0OietdW0ERquZ/hn0ktMbvD5BbdGlhfTQYvUa4QwlMmLQ2LQfU9hM5NOStCdG5UpmTZhDzY+aoNPmGDsvwfTNR3DsVoutekTis+dKeeP/sYsdJT+WIvQSFqyyADPP0/nii+nmn+Pjt1XSJGQBl0j1hIs7mw4beyDq5a5NfLkfwvHdiRLb5Xs/zy3AgkI+ls9XZdBJYzbl32/kiLPnd6fIgyJCNjiIzSvbXpSAyGXGomEDohaz2YahBoyT52XULPojlVLxTZ5u5H1NnT5e6ntc8kZ7a94LyArbsHiADcQJGlFO8gufHvXq5I9jk+o+a8EA7vRNXKQGqVNeHG67s8FDo4woOXqAZL5mfこれで完了です余談実際に繋げるときは複数の方法があります1. 秘密鍵だけでssh接続する方法この場合は、VPSのsshのサービスコンフィグを開き、パスワード認証をオフにする必要があります。参考(url: https://qiita.com/kazokmr/items/754169cfa996b24fcbf5)2. 秘密鍵とパスワードで接続する方法こちらは、先ほど作成した秘密鍵を用いるコマンドを付与するだけで問題ないです $ssh -i fuga [リモートユーザー]@[リモートサーバーのホスト名]ですが、わざわざユーザやホスト名を書くのが面倒な場合もあります。その場合は、~/.ssh/configを変更することで可能になりますHost [エイリアス]   HostName [リモートサーバーのホスト名]   User [リモートユーザー]   IdentityFile ~/.ssh/fuga上記のように変更すると$ssh [エイリアス]で繋げられます秘密鍵のパスフレーズを求められたときはそのままEnterで大丈夫です