| A | C | D | E | F | G | H | I | J | K | L | M | |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
1 | タイムスタンプ | SlackID | Omnicampusの登録名 | お問い合わせの種類 | 具体的なお問い合わせ内容をご記入ください。 | 回答 | 列 1 | |||||
2 | 2024/11/21 20:27:18 | SawaY | Umykoo18 | Omnicampus, GPUなど開発環境について | コンペについてですが、ominicampasで提供される環境(L4 gpu 24gb 最大１２時間使用可能。cpuメモリ48GB)だけで、 自分のPCのストレージを使用せずに行えるものですか？自分のMacのストレージ残量が３２GBしかありません。 問題点はよくわかりませんが、Jupyter notebookでgemma-2-27bのモデルを使ってServer Connection Errorになってしまい先に進めなかったので、Macの容量に関係あるのか疑問に思っています。 | ユーザーのPCのストレージが原因となることはございません。2つの問題があります。 1. omnicampusの環境（L4 GPU）でgemma-2-27bを動かすのは極めて難しい 2. 現在、omnicampusの環境が極めて不安定となっている。 2に関しては大変申し訳ございません。原因究明中です。 | ||||||
3 | 2024/11/22 9:53:32 | HM | satou_satoru | コンペルールについて | お世話になっております。コンペティションに登録が正常に完了したかどうかを確認したいと思っております。どちらを確認すればよいかご教示いただけますと幸いです。見落としたがありましたら申し訳有りません。ご確認のほどよろしくお願いいたします。 | 回答に利用したGoogleアカウント宛に自動メールで登録内容を返信しております。そちらをご確認頂ければと思います。 | ||||||
4 | 2024/11/22 12:30:44 | UoRuiSemiTu_j | UoRuiSemiTu_j | 提供サンプルコードについて | 提供サンプルコードはconda環境構築してアクティベートして実施する形になってますが 直に必要なライブラリを入れて実施すると支障が、出るのでしょうか（ローカルでvenv環境の上にさらにcondaを走らせようとするとうまくcondaがうごきませんでした | サンプルコードで使用しているunslothがconda使用を推奨しており、それに倣っております。直に必要なライブラリを入れる場合、cudaとの互換性などの問題で難易度が高いですが、可能ではあります。 | ||||||
5 | 2024/11/22 13:09:12 | Chihiro Arata(Aratako_LM) | Aratako_LM | コンペルールについて | 制約事項の「L4で1時間以内に全タスクを推論可能」という記述についての質問です。 ・この時間にはHugging Faceからのモデルのダウンロード時間等は含まれず、純粋な推論時間の制約という認識でよろしいでしょうか？ ・Omnicampus以外の環境（例えばrunpodのL4）で1時間以内の推論完了を確認する形でも問題ないでしょうか？ | モデルのダウンロードは含まれません。ダウンロードが終わった後、モデルを含むシステムを推論実行した場合にかかる時間となります（RAGなどの場合はモデル以外の処理も入るため）。 LLMの推論に関してはomnicampus以外の環境でもL4またはT4などL4以下のスペックのGPUで試していただき、1時間以内であれば問題ありません。ただし、LLM以外の処理に時間がかかるシステムの場合はその点を考慮して余裕のある時間内に終わるようご配慮下さい。 | ||||||
6 | 2024/11/22 14:27:45 | TaroNakasendo | TaroNakasendo | コンペルールについて | 優秀賞は重複受賞はありますか？たとえば高専3年生の18才の方がU-18とU-29と一般部門の３つを同時に受賞することはありますか？ | あります。三冠や四冠も可能性はあります。 | ||||||
7 | 2024/11/22 14:34:57 | TaroNakasendo | TaroNakasendo | コンペルールについて | 1.2.1.のGemini 1.5のバージョンは何でしょうか？Pro、Flash等... また、最終的なスコアの算出はGemini 1.5の自動評価ではないということでしょうか？ (評価方法が公開可能であれば知りたいです) | 公開すると対策されてしまうため非公開でお願いします。1つ言えるのはリーダーボードの評価と最終評価は完全に一致はしないということだけです。 | ||||||
8 | 2024/11/22 14:56:01 | TaroNakasendo | TaroNakasendo | Omnicampus, GPUなど開発環境について | Google Colab上で、LoRA_template_unsloth2.ipynbを実行しようとしていますが、「事前にterminalで環境構築の必要があります。Google Colabでは不要です。」と書いてあるセルを実施しないため、unslothのインストール手順が抜けているように思います。(from unsloth import FastLanguageModelの行がエラーとなります) ご確認いただけますでしょうか。 | ご指摘ありがとうございます。追加しました。 | ||||||
9 | 2024/11/22 18:54:32 | TajimaItsuro | TajimaItsuro | Omnicampus, GPUなど開発環境について | サンプルコードをまだ見ていないのですが、参考までに、サンプルコードによってFTされたモデルの点数は何点くらいでしょうか。 | サンプルコードはGoogle Colabの無料版でも実行可能ですので、提出回数に心配がなければお試しいただけますと幸いです。 | ||||||
10 | 2024/11/22 20:16:25 | U07K33ASVAP | tomsekigh | Omnicampus, GPUなど開発環境について | LoRA_template_unsloth2.ipynbをomnicampus提供のL4 jupyter notebook環境で動かそうとして、以下の問題に直面しています。terminalでcondaの新環境unsloth_envを作り、ipykernelもinstall済です。問題は、terminalで新環境unsloth_envをactivateした後に、新環境上でLoRA_template_unsloth2.ipynbを起動する方法が分からないです。単に、terminalとは別に、notebookのwindowを作って（既にuploadしてあるLoRA_template_unsloth2.ipynb）をクリックして起動させるだけだと、condaのbaseの環境で動いていると思われます。よろしくご教授ください。 | 反映されるまでに時間がかかります。 | ||||||
11 | 2024/11/22 23:26:01 | U072CD6B4GM | tomsekigh | Omnicampus, GPUなど開発環境について | 私の質問10は、解決しました。今回は、さらに別も問題です。LoRA_template_unsloth2.ipynbは最後のhuggingfaceへのuploadingのところまで進みましたが、uploadingの最後になって、以下のmessageでeorrorが出ます。HF_TOKENは正しく設定したつもりです。（LLMの実習でLlamのDLに設定したHF_TOKENと同じものです。） <error message> Repository Not Found for url: https://huggingface.co/api/models/sekigh/llm-jp-3-13b-finetune-2/preupload/main. Please make sure you specified the correct `repo_id` and `repo_type`. If you are trying to access a private or gated repo, make sure you are authenticated. Note: Creating a commit assumes that the repo already exists on the Huggingface Hub. Please use `create_repo` if it's not the case. 原因は、どこにあるのでしょうか？最終のcellの内容である下記の内容に変更が必要なのでしょうか？ # モデルとトークナイザーをHugging Faceにアップロード。 # 一旦privateでアップロードしてください。 # 最終成果物が決まったらpublicにするようお願いします。 model.push_to_hub_merged(new_model_id, token=HF_TOKEN, private=True) # Online saving tokenizer.push_to_hub(new_model_id, token=HF_TOKEN) # Online saving | 失礼しました。コードに問題があり修正したものを先ほどアップロードしました。 | ||||||
12 | 2024/11/22 23:35:47 | Yu37330 | Yu37330 | コンペルールについて | Embeddingモデルの選択 はなにか制約がありますか？一般的なものをつかっても大丈夫でしょうか？念のため確認させてください。 | Embeddingを得るためのモデルでしょうか？こちらLLMを使う場合はこちらで指定したモデルの使用をお願いします。LLMかどうかの判断は ← こちら大変失礼しました。Embeddingモデルに関してはライセンスや規約に準拠いただければ指定なしというルールとしました | ||||||
13 | 2024/11/22 23:57:42 | yasuna_miura | yasuna_miura | Omnicampus, GPUなど開発環境について | LoRA_template_unsloth2.ipynbをwindowsローカル環境で動かそうとすると、以下のエラーが出てしまいました。 調べたところ、trironというライブラリはwindowsでは正式にサポートされていないとのことまでは分かったのですが、このエラーの回避方法が調べ切れませんでした。 ご教示いただけると助かります！ (myenv) (unsloth_env) PS C:\Users\USER\dev\unsloth> python main.py Traceback (most recent call last): File "C:\Users\USER\dev\unsloth\main.py", line 52, in <module> from unsloth import FastLanguageModel File "C:\Users\USER\dev\unsloth\myenv\lib\site-packages\unsloth\__init__.py", line 111, in <module> import triton ModuleNotFoundError: No module named 'triton' | 申し訳ありません。windowsローカル環境での実行を想定したサンプルコードではないため、ローカル環境で動かすためには各自変更をお願いします。 | ||||||
14 | 2024/11/23 0:14:02 | U07K33ASVAP | tomsekigh | Omnicampus, GPUなど開発環境について | omnicampusの演習環境を開始し、condaのunsloth_env環境を構築して、演習環境を停止してしまうと、再度、演習環境を再開したときに、condaのunsloth_env環境は消えていて、再度作らなければならないようです。このcondaのunsloth_env環境を演習環境の停止ー再開に跨って保持する方法（あるいはsaveする方法）はありませんか？これを再構築するだけでも時間を費やしており、数回の演習停止ー再開を繰り返すことでも、12時間の枠が削られており、あっという間に５時間を溶かしました。 | クラウドのストレージをマウントさせたり、クラウドにファイルを転送するのが一般的です。Google Clouodの場合、gsutilを使う方法などがあります。 | ||||||
15 | 2024/11/23 0:38:06 | Kazuyuki | Kazuyuki | コンペルールについて | 具体的なコンペの基準点は発表されないのでしょうか？ | すみません、別の対応に追われており後手になっております。ただ、予選のリーダーボードの点数は最終評価の点数とは別のため、基準点とリーダーボードの点数を比較して合否が判断できるというわけではない点にご注意ください。目視で内容が改善しているかを確認いただくのが基本となります。 | ||||||
16 | 2024/11/23 1:17:54 | CLRafaelR (team kawagoshi, member) | CarlosLuis | コンペルールについて | 【google/gemini 1.5を使って合成データを作ることは可能でしょうか？】 1. **Googleの規約上**，gemini 1.5を使い「他のLLMを訓練するための合成データ」を作ることは禁止されているでしょうか？ geminiのAPI規約https://ai.google.dev/gemini-api/termsを読みましたが，Grounding with Google Searchの章に「You will not, [...] train on, or otherwise learn from Grounded Results or Search Suggestions.」とあるだけで，Google Searchが関わらない純粋なgeminiの利用だけで生成されたテキストデータを他のLLMの学習に使うことを禁じる規約はなかったように思われます。ですが，OpenAI社のgptモデル群に対する規約のように，Googleも「他のLLMの学習のためにGeminiの出力を利用するのを禁じている」ことが明言された文書がありましたら，ご教示いただけますと幸甚に存じます。 2. **今回のコンペのルール上**，gemini 1.5を使い「他のLLMを訓練するための合成データ」を作ることを禁止するような特別な決まりはあるでしょうか？ Googleの規約というよりは，今回のコンペのルールとしてgemini 1.5の利用しての合成データ作成を禁じる決まりがありましたら，ご教示いただきたくお願いいたします。 | コンペのルールとしては、Googleの規約に違反、もしくはグレーのため禁止というスタンスです。 | ||||||
17 | 2024/11/23 3:01:52 | ShibaTake | ShibaTake | サンプルコードエラー | サンプル: LoRA_template_unsloth2.ipynb 環境 GOOGLE COLAB A100 エラー発生個所（最後の１行） tokenizer.push_to_hub(new_model_id, token=HF_TOKEN) # Online saving エラー： IsADirectoryError: [Errno 21] Is a directory: 'takeofuture/llm-jp-3-13b-finetune-2' 以下に修正してOK, model.push_to_hub_merged( new_model_id, #save_method="lora", tokenizer=tokenizer, token=HF_TOKEN, private=True ) でも save_method="lora", をいれると同じエラーです | おそらくローカルにnew_model_idと同じ名前のフォルダが作成されていると思います。それを削除することで実行可能です。 | ||||||
18 | 2024/11/23 5:56:44 | ShibaTake | ShibaTake | サンプルコードエラー | Model_Inference_Template.ipynb のエラー https://matsuokenllmcommunity.slack.com/archives/C05TFBHQTT3/p1732268122683329 11/23の4AMのものをダウンロードしても同様なエラー 上記のスレッドでエラー部分か解消、でもそれでOKか不安です | 失礼しました。出力内容に問題がないかは判断がこちらでも判断が難しいです。目視でjsonlをご確認いただければと思います | ||||||
19 | 2024/11/23 6:23:13 | ShibaTake | ShibaTake | コンペルールについて | 最終課題ルールにJSPNLの提出は最大２０回までとありましたがこの課題の修了要件を満たすスコアはいくつでしょうか？OmniCANPUSにJSONLをあっぷすれば暫定の点数がだされるとのこと。ちなみに、点数は最大点数でしょうか？それとも最後に提出した点数でしょうか？それともその他（平均や中央値など？） | 最後に提出されたものとなります。リーダーボードはあくまで | ||||||
20 | 2024/11/23 6:48:32 | 池田公平 | KoheiIkeda | コンペルールについて | コンペの課題クリア基準の値についてアナウンスが見当たりませんが、具体的にどの程度のスコアがボーダーになるのか教えていただけますでしょうか？ | すみません、別の対応に追われており後手になっております。ただ、予選のリーダーボードの点数は最終評価の点数とは別のため、基準点とリーダーボードの点数を比較して合否が判断できるというわけではない点にご注意ください。目視で内容が改善しているかを確認いただくのが基本となります。 | ||||||
21 | 2024/11/23 11:45:30 | Yu37330 | Yu37330 | コンペルールについて | 合成データについて、確認させてください。 ・合成データの作成に利用してモデルも、今回指定のあるモデルのみとの理解でよいでしょうか？ ・その場合もGemma2をトレーニングする場合は、ELYZA-task-100をプロンプトにいれて学習データを作成してはいけないとの理解でよいでしょうか？ 2024/11/22 23:35:47の質問の回答が途中できれているので、追記をよろしくお願いいたします。 | 合成データに関してはルールに「非商用での利用に制限のないモデル」であればよいと記載があり、今回指定のモデルでなくても問題ありません。 ELYZA-tasks-100-TVは使用不可ですが、ELYZA-tasks-100であれば使用可です。 11/22について失礼しました。追記しました。 | ||||||
22 | 2024/11/23 12:08:18 | Yu37330 | Yu37330 | Omnicampus, GPUなど開発環境について | 課題提出は、最終提出ではない場合もREAD MEは必要になりますか？いったん採点のみしたい場合は、JSONLとURLだけでも採点されますでしょうか？ | 最終提出のときだけで大丈夫です。それ以前はURLだけ用意ください | ||||||
23 | 2024/11/23 12:26:19 | pokutuna | pokutuna | Omnicampus, GPUなど開発環境について | コントリビューション部門のリーダーボードの点が反映されておりません 昨日私の投稿が30点近くあり喜んで眺めていたのですが、約30点 → 3点 → 2点 と下がっていってます。集計に問題がおきているように思います。 もし自身へのリアクションにより不正と判断されていたらすみません。自身へのリアクションはルールで禁じされていませんし、コミュニケーションチャンネルの1つなので、水増しする意図はなくカウントから投稿者のリアクションは除くのが適切な処理かなと思います https://matsuokenllmcommunity.slack.com/archives/C05TFBHQTT3/p1732161529290969 | 申し訳ありません。自分の投稿へのリアクションは特に禁止していませんが、ユーザー数のカウントなので何回リアクションしても1とカウントされるはずです。確認いたします。 | ||||||
24 | 2024/11/23 14:06:40 | TakeyukiIGARI | TakeyukiIGARI | サンプルコードについて | Model_Inference_Template_unsloth.ipynbを実行していくと、推論のところで、”NameError: name 'data' is not defined”のエラーが出ました。確かにdataという変数が定義されていないと思ったのですが。変な質問だったらすみません。。 | 失礼しました。こちら、バグの検証が不十分であり改めて更新します。 | ||||||
25 | 2024/11/23 15:52:57 | ZHANG MENGHAN | menghan05 | サンプルコードエラー | Colabで"llm-jp/llm-jp-3-13bを4bit量子化のqLoRA設定でロー"この部分のコードを実行する際にエラーが発生します、AttributeError: 'NoneType' object has no attribute 'start'、これはどういうことでしょうか？ | 失礼しました。こちら、バグの検証が不十分であり改めて更新します。 | ||||||
26 | 2024/11/23 16:05:02 | sam_murayama | sam_murayama | Omnicampus, GPUなど開発環境について | LLM開発未経験者ですが、プログラムを走らせる前に、Jupyter Notebookを操作をためしていただけで、GPU利用済み時間が２時間に達していました。 １）この「GPU利用済み時間」というのは、プログラム上でGPUを使用している時間ではなく、この環境を起動している時間のことでしょうか？ ２）作業終了時には、OminiCampus上での停止ボタンのみならず、Jupyter上でShudownする必要がありますか？ ３）このペースでは、とても１２時間で終えられるとは思えないのですが、未経験者に対して、有効なアドバイスをいただけばいでしょうか？ ４）Omicanpus環境の動作が不安定との記述が散見されますが、上記の事情も含めて、当面はGoogle Colab（無料版）で実行した方がよいでしょうか？（ただし、Colabで実行する場合は、Omincampusとの操作の違いを正確に把握できているかが不安です。） | Omnicampusの環境が不安定な点は申し訳ございません。ただいま、原因究明中です。また、まずはgoogle colabの無料版でテストしてから、Omnicampusで試すことをお勧めします。ただ、colabとomnicampusは環境が異なるので全く同じコードで動くわけではない点にご注意ください。 | ||||||
27 | 2024/11/23 16:36:56 | Nagi | kashima1 | Omnicampus, GPUなど開発環境について | 登録を終了し、Omnicampusで起動ボタンをクリックすると以下のメッセージがでます。 なお、画面下に表示されているGPU起動時間は両方とも０時間です。 演習環境を起動できません。利用可能時間を超過しています | おそらく参加申し込み時にGPUの利用申請が何かしらの理由で承認されなかったものと思われます。運営にomniのIDを教えていただけますでしょうか？ | ||||||
28 | 2024/11/23 17:15:59 | U07JVNV9HTQ | Yoshimi shirakawa | Omnicampus, GPUなど開発環境について | ominicampasで提供される環境(L4 gpu 24gb 最大１２時間使用可能。cpuメモリ48GB) とありますが、演習を開始時刻からログアウトの時間が12時間ということでしょうか？ 利用済みGPU時間が12時間を超えないということでしょうか？ この確認をしていればよいのかと思いますが、開発初心者としては12時間で完成させるのが難しいと思っており、ケチケチ環境を大事にしながら進めないとなと思っています。 大事な12時間なので、ケチケチ使ったほうが良いのかな？とも思っています。 そこで、上記の質問がYESの場合、開発環境の練習環境として無料でできるものはありますか？ | Omnicampusの環境が不安定な点は申し訳ございません。ただいま、原因究明中です。また、まずはgoogle colabの無料版でテストしてから、Omnicampusで試すことをお勧めします。ただ、colabとomnicampusは環境が異なるので全く同じコードで動くわけではない点にご注意ください。 | ||||||
29 | 2024/11/23 17:18:11 | Athelas00 | Athelas00 | 配布されたサンプルコードについて | 配布されたサンプルコードをそのまま実行した場合に、 from unsloth import FastLanguageModel のところで以下のエラーが出て、importができません。 TypeError: expected string or bytes-like object, got 'NoneType' こちら、解決方法はあるでしょうか？ (複数の環境で試しましたが、例えばGoogle Colabなどで起きています) | 失礼しました。こちら、バグの検証が不十分であり改めて更新します。 | ||||||
30 | 2024/11/23 19:34:43 | TaroNakasendo | TaroNakasendo | サンプルコード | Model_Inference_Template_unsloth.ipynb は、実行するのに下から２つ目のセルで3点修正が必要です tqdm(data): → tqdm(datasets): data["task_id"] → dt["task_id"] "output": output → "output" : outputs | 失礼しました。こちら、バグの検証が不十分であり改めて更新します。 | ||||||
31 | 2024/11/23 19:42:52 | Chihiro Arata(Aratako_LM) | Aratako_LM | コンペルールについて | リーダーボードにjsonlを提出する際、モデルへのリンクを求められますが、この時モデルは公開状態にしていることが必須なのでしょうか。あるいは、後ほど公開する前提であれば現時点では非公開でも問題ないでしょうか。（解法のある種のネタバレのような状態になってしまうかと思っての質問です） | 最終提出まではURLだけご用意いただければprivateでも構いません。運営が確認するのは予選終了後となります。 | ||||||
32 | 2024/11/23 19:43:05 | TaroNakasendo | TaroNakasendo | サンプルコード | 上の質問の最後の指摘が間違っていました。 "output": output → "output: prediction じゃないとダメそうです。 また、最終セルを実行する前に(HuggingFaceのユーザー名)フォルダを手動で作成しておく必要がありました | ご指摘ありがとうございます。 | ||||||
33 | 2024/11/24 3:53:33 | ShibaTake | ShibaTake | コンペルールについて | いただいたサンプルで、llm-jp-3-13bで推論してます（L$環境）、推論のところはそこまで時間はかかてｔないのですが、モＨＦからデルの読み込みelyza_tasks-100-tvの予も混みなどのと頃にそれ以上の時間がかかってますL4で１時間というのは推論部分での目安とかんがえていいでしょうか？ tokenized_input = tokenizer.encode(prompt, add_special_tokens=False, return_tensors="pt").to(model.device) with torch.no_grad(): outputs = model.generate( tokenized_input, max_new_tokens=100, do_sample=False, repetition_penalty=1.2 )[0] | llm-jp-3-13BでLLM以外の処理を加えていなければ、おそらく問題ないと思われます | ||||||
34 | 2024/11/24 12:09:04 | AKOSU129 | AKOSU129 | Slackのメールアドレスについて | Slackに登録しているメールアドレスにアクセスできなくなってしまったのですが、問題ないでしょうか？最終課題の申請の方でSlackに登録しているの提出欄があったため、質問させていただきました。 | Slackにアクセスが出来ている状態でしたら特に問題ございません。SlackのアカウントとOmnicampusのユーザーを紐付ける目的でお伺いした項目になります。 | ||||||
35 | 2024/11/24 14:59:09 | U07K9EJ9HKP | monamona | コンペルールについて | 念のため、解釈に相違がないか確認させてください（最終課題の目指すべき点はそこでないことは理解していますので解釈の正しさを確認させてください） 「基準点はこちらで提供するサンプルコードを適切に実行できればクリアできる水準」とありますが、「提供いただいたサンプルコードをそのまま実行して得た結果とモデルでも修了の必要条件を満たせる（十分条件ではない）」ということであってますでしょうか？ | こちらサンプルコードにバグが出たため混乱を引き起こしており大変申し訳ございません。サンプルコードをそのまま使えば確実に基準点を超えると100％保証できるわけではないのですが、それに近いものとお考えください。 | ||||||
36 | 2024/11/24 20:16:03 | U05QERHUY1E | CarlosLuis | コンペルールについて | 【学習データに非商用ライセンスのものを使うことは可能でしょうか？】 標記に関して，「1.5 提出物」のdには「ライブラリやコードなど、LLM以外のツールに関しては非商用利用に制約のないライセンスのものを使用可能。」とありますが，この記述に従って学習データに非商用ライセンスのものを使うことは可能でしょうか？ それともこの記述は「LLM以外のツールに関しては【商用利用】に制約のないライセンスのものを使用可能。」の誤りで，学習データも含め商用利用可能なモデルでないと利用不可でしょうか？ なお，LoRA_template_unsloth2.ipynbで利用しているIchikara Instruciton「LLMのための日本語インストラクションデータ」で作成したLLMモデルは，商用利用を含め公開も禁止されております。そのため，Ichikara Instrucitonを学習したモデル（LoRA_template_unsloth2.ipynbをそのまま実行することで作成したモデルを含む）は，提出する際にHugging Face上のURLをpublicにできず，提出できないと考えられますが，この点いかがでしょうか？ | 「非商用で制約なく利用可能」であれば、非商用での公開も可能というスタンスです。ただし、ichikara instructionに関しては確かに追加の制約がかかっている可能性が否定できないため現在確認中です。 | ||||||
37 | 2024/11/24 23:00:39 | Nagi | Kashima1 | 運営への連絡 | 最終課題に対する運営側への連絡の具体的な方法を教えてください。すみません。 | こちら質問フォームでは投稿できない内容ということでしょうか？追加でご質問いただけますと幸いです。 | ||||||
38 | 2024/11/25 0:13:03 | Sakuma_Yoshiyuki | ykuma777 | コンペルールについて | 提出方法の確認： ①本提出時：「Omnicampus上に解答（100-TV）を張り付け、提出を押したのち、hagingface（モデル・トークン・REME）のurlを張り付け、再度提出を押したら提出完了」の理解で良いでしょうか？ ② 試し提出時：Omnicampus上に解答（100-TV）を張り付ければ採点されることは理解。また回数制限があり、節度を持って投稿する旨も理解。 試し提出時に、hagingface（モデル・トークン・REME）urlの張り付け提出は不要だが、仮に張り付けたとしても期間中であればurl含めて幾らでも変更できる。 | 提出したときのjsonlとそのjsonlで用いたモデルのURLは最終成果物に限り一致するようにして下さい。ただし、何かしらの理由でURLが用意できていない場合、huggingfaceに仮のモデルをアップロードしてURLだけ取得し、その後、講義終了のタイミングで本来使ったモデルをアップロードし直すことが可能です。 | ||||||
39 | 2024/11/25 0:22:25 | Sakuma_Yoshiyuki | ykuma777 | コンペルールについて | サンプルプログラムをただ実行しただけのなんの加工もないモデルの場合、課題の提出物とは認めない旨の発言があったかと思います。その一方でSFT等をやれば良いとも書かれていたと思います。 LoRA_template_unsloth2.ipynbを言われたとおりに実行してゆくと、 ichikara-instruction-003-001-1.jsonを取得し、これをSFTにかけて事後学習して、作ったモデルでelyza-tasks-100-TV_0.jsonlを生成して・・・というのが全てできてしまいますが、これだけでは合格にはならないのでしょうか？更にもう一工夫したモデルを求められているということでしょうか？ | その点に関してはっきりと回答するのは難しいですが、基本、サンプルコードをベースに開発いただければ十分、基準点に到達できる想定です。ただ、今後、unsloth版ではない（本来公開予定であった）サンプルコードも公開します。余裕がありましたらそちらも試していただくとより確実かなと思います。 | ||||||
40 | 2024/11/25 0:25:25 | Sakuma_Yoshiyuki | ykuma777 | コンペルールについて | 合否判定の基準はいくつですか？いつ頃発表されますか？ | 基準点は公開はしますが、自分の出力が基準点に到達しているかどうかを確認するすべがない（リーダーボードの数値は暫定的なものの）ため、事前に合否を知る方法はありません。 | ||||||
41 | 2024/11/25 3:34:35 | 藤尾 絢香 | fujio48694062 | コンペルールについて | この度は、最終課題コンペティションの参加登録が所定の締切を過ぎてしまい、大変申し訳ございませんでした。 期日内に参加登録ができていなかった理由といたしましては、LLM講座修了のために別途申し込みが必要だとは思わず、Googleドキュメントの確認が遅れたためです。締切が一度延長されたにもかかわらず、Googleの回答が締切から3時間ほど過ぎてしまいました。私の不徳の致すところです。深く反省しております。 不躾なお願いで大変恐縮ではございますが、どうか参加登録を受理していただけませんでしょうか。 これまでLLM講座の課題は全て期日内に提出しており、修了しようとする意思はあると自信を持って言えます。確認不足であった私自身に原因があるのは明白なのですが、修了のために最終課題に参加させていただきたく存じます。 お忙しいところ大変恐縮ではございますが、何卒ご検討いただけますようお願い申し上げます。 | 「最終課題コンペ参加登録フォーム」へご登録後、回答に利用したGoogleアカウント宛に自動メールで登録内容を返信しております。自動メールが届いている方はエントリー完了しております。 | ||||||
42 | 2024/11/25 8:48:39 | J_Shiraishi | J_Shiraishi | コンペルールについて | Hugging FaceのURLですが，LoRAアダプタの状態で提出してはいけないでしょうか | READMEで推論方法を記載いただければそれでも問題ありません。 | ||||||
43 | 2024/11/25 9:47:16 | U05PMGB92S0 | satoru_hataya | コンペルールについて | チャットテンプレートについて質問させてください。今回のコンペでは、チャットテンプレートは何か制限はあるでしょうか？ 例えばベースモデルがgemma-2の場合、gemma-2 itのチャットテンプレートを使用することは問題ないでしょうか。 それとも、テンプレートについても自作する必要があるでしょうか。 | 問題はないですが、自作いただければと思います。ただ、模倣が許可されているものであれば模倣でも構いません。 | ||||||
44 | 2024/11/25 9:58:38 | ost-ma-okuda | ost-ma-okuda | コンペルールについて | elyza-tasks-100-TVをトレーニングデータセットとして、使用は禁止されていますが、evalation datasetに登録して、SFTすることは禁止されていますでしょうか？ | そちらも禁止となります。 | ||||||
47 | 2024/11/25 12:51:42 | ost-ma-okuda | ost-ma-okuda | コンペルールについて | 提出物について、LLM講座2024最終課題概要（確定版）の10ページ目に、提出物3つ記載されていますが、その中にpythonコードが含まれていません。 Omnicanpusの「宿題：【★提出不可】コントリビューション部門 リーダーボード」にはpythonコードの提出欄があります。pythonコードを提出する場合、サンプルコードで言うと、LoRA_template_unsloth2.ipynbを改変したコードを提出するのでしょうか？それともModel_Inference_Template_unsloth.ipynbを改変したコードを提出するのでしょうか？ | pythonコードの提出の必要はございません。hugging faceのREADMEに動作方法を記載いただければ十分となります。 | ||||||
48 | 2024/11/25 12:54:45 | Sakuma_Yoshiyuki | ykuma777 | コンペルールについて | 最終版以外のオムニキャンパスへの提出はハギングフェイスへのModel登録を常に合わせて行う必要がありますか?（モデル変更で出来を見たい時等の提出） | 最終版以外は仮のURLで構いません。 | ||||||
49 | 2024/11/25 17:55:47 | U07KWQ64420 | yukin123yukin | Omnicampus, GPUなど開発環境について | 以下のコードを実行してもずっとロード中のマークになり、終わりません、、なぜでしょうか？ llm-jp/llm-jp-3-13bを4bit量子化のqLoRA設定でロード。 from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig from unsloth import FastLanguageModel import torch max_seq_length = 512 # unslothではRoPEをサポートしているのでコンテキスト長は自由に設定可能 dtype = None # Noneにしておけば自動で設定 load_in_4bit = True # 今回は8Bクラスのモデルを扱うためTrue model_id = "llm-jp/llm-jp-3-13b" new_model_id = "llm-jp-3-13b-it" #Fine-Tuningしたモデルにつけたい名前、it: Instruction Tuning # FastLanguageModel インスタンスを作成 model, tokenizer = FastLanguageModel.from_pretrained( model_name=model_id, dtype=dtype, load_in_4bit=load_in_4bit, trust_remote_code=True, ) # SFT用のモデルを用意 model = FastLanguageModel.get_peft_model( model, r = 32, target_modules = ["q_proj", "k_proj", "v_proj", "o_proj", "gate_proj", "up_proj", "down_proj",], lora_alpha = 32, lora_dropout = 0.05, bias = "none", use_gradient_checkpointing = "unsloth", random_state = 3407, use_rslora = False, loftq_config = None, max_seq_length = max_seq_length, ) | こちら、実行環境などの情報を頂けませんでしょうか？ | ||||||
50 | 2024/11/25 18:55:08 | Yoshiyuki_Sakuma | ykuma777 | コンペルールについて | 技術的な質問なのでスラックの方が良いかもしれませんがこちらでまず確認させて頂きます。 サンプルコードを用いて作った100_TVの回答ですが、データを確認すると途中で切れて全文掲示されていない場合が多々あるようです。 JSONの扱いに不慣れなので良くわかっていないだけかもしれませんが、下記質問です。 ①回答の文章の長さに制限はありますか？ ②切れた回答と全文掲示できた回答では評点に差異は生じますか?（説明が尽された方が良いなど） ③回答の文章の長さを操作するプログラムで書き直したもので、最終成果を報告して良いですか？ | ①回答の長さに制限はないのでmax_seq_lengthを調整して学習を工夫するのは問題ございません。出力にかかる時間だけ気を付けていただければと思います。 ②自動採点なので確たることは言えませんが、おそらく影響するだろうと思います。 ③max_seq_lengthなどLLMの学習や推論のパラメータを変更して調整する分には構いません。 | ||||||
51 | 2024/11/25 19:24:07 | Sakuma_Yoshiyuki | ykuma777 | 質問フォームの入り口 | コンペ質問フォームへの簡単なアクセス方法を教えて下さい。 事象 私だけかもしれませんが、この質問フォームにたどり着くためにいつもスラックのコンペ欄を数分かけて過去に遡り、質問フォームの入り口を探しています。 確認 何処か分かり易い、入り易い入り口はありますか？ あれば教えて下さいませ。 無い場合、設けていただくことは可能でしょうか? | 受講の手引きにも記載いたしました。 | ||||||
52 | 2024/11/25 19:46:48 | T_Yamashita | T5 | Omnicampus, GPUなど開発環境について | OmniCampusより演習環境にアクセスし、演習環境を起動すると総GPU起動時間、利用済みGPU起動時間がそれぞれ0時間になっており、起動ボタンを押しても「演習環境を起動できません。利用可能時間を超過しています」というメッセージが表示され演習環境が利用できません。（以前のアンケートでGPU環境の利用を希望したように記憶しております）どうすれば演習環境を利用できるようになりますでしょうか。よろしくお願いします。 | 11/20(水)までにコンペエントリーを完了された方には既にGPUを付与しておりますが、再々延長期間にエントリーされた方につきましては、現在GPU付与に向けた作業を行っております。 利用可能な状態になりましたら、改めてSlackで全体に通知いたしますので今しばらくお待ち頂けますと幸いです（11/27(水)頃に通知予定）。なお、再々延長期間でエントリー頂いた方も含め、今のところ全員に12時間分の提供が可能な見込みでございます。 | ||||||
53 | 2024/11/25 19:53:13 | sam_murayama | sam_murayama | コンペルールについて | １回目の提出でほぼ合格点と予測できる点数(2.98)が得られたのですが、開発力アップが本来の目的なので、これからも提出を繰り返す予定です。 今後の提出において、評価値が１回目を下回った場合、提出者の評価値としては、最高値または最新値のいずれが採用されるのですか？ 最新値が適用される場合、最新値が前評価値を下回ったり、合格点に達しないと予想された場合には、再度過去の提出物を再提出する必要があるのでしょうか？ また、リーダーボードには、すべての評価値、最高の評価値、最新の評価値のうち、いずれが表示されるのでしょうか？ | 最後の評価が採用されます。再度、過去の提出物を出していただければと思います。リーダーボードの表示も同様です。なお、リーダーボードの表示と最終評価は必ずしも一致しないのでご注意ください。 | ||||||
54 | 2024/11/25 21:26:42 | sho_kumada | Martingale | 提出物について | 提出物の1つがREAD.MEですが、これはモデルのURLから辿って確認いただけるとういう理解でOKでしょうか？READ.ME自体は投稿フォームが無いので、そうだとう思うのですが、念のため確認させていただけると幸いです。お手数お掛けいたします。 | はい、Hugging Faceの中にREADME.mdを作成いただいてその中に記入すれば大丈夫です。 | ||||||
55 | 2024/11/26 1:18:45 | Yoshiyuki_Sakuma | ykuma777 | コンペルールについて | 色々試しているのですが推論で思っていたより時間がかかっています。万が一１時間を超えた推論になってしまった場合（１時間10分位）スコアが良かったとしても、単位は貰えないのでしょうか? | 単位に関してはある程度、事情を考慮いたしますが、優秀賞に関しては原則、厳しく対処いたします。 | ||||||
56 | 2024/11/26 3:49:30 | ishibashi | ishibashi | コンペルールについて | ■ LLM講座2024の修了要件 > 予選で提出いただくJSON Linesファイルの最終的な採点結果が運営の設定する基準点を上回ること。 > その点数は最終的な採点結果とは一致しません（最終結果と比べ精度が落ちます）。 こちらは決勝の後に表示されるリーダーボードのスコア(シェイクダウン後)が一定以上という認識でよろしいでしょうか？ ■ 予選から決勝へ > Hugging Faceにアップロードされた予選の上位30モデルを使い、運営が決勝用に別途生成したELYZA-tasks-100-TVの出力を生成。 こちらは予選期間中のリーダーボードの上位30モデルが該当するのでしょうか？ または、運営側のみ分かる仕組みがあり上位30モデルがリストアップされるのでしょうか？ ■ 決勝 > 運営が決勝用に別途生成したELYZA-tasks-100-TVの出力を生成。 こちらは評価として使うデータは変わるが、Modelは変更する事ができないのでしょうか？ | > 修了要件 その認識で合っております。ただし、最終スコアを公開するのは上位の方のみになる想定です。上位の方以外のスコアを公開するかどうかは未定です。 > 決勝へ こちらも最終スコアに基づいて決まります。また、ルール違反なども確認するためリーダーボードの結果がそのまま反映されるとは限らない点、ご注意ください。 > 決勝 モデルの変更は不可です。予選のタスクへの過度な学習に制約をかけるための措置です。 | ||||||
57 | 2024/11/26 9:14:00 | pokutuna | pokutuna | コンペルールについて | サンプルコードを踏襲しつつ unsloth で gemma2 系モデルを量子化しつつ読み込むと、暗黙に unsloth が配布しているモデルがダウンロードされており、ルールに抵触する派生モデルの利用にあたると思われます(詳細は下記の Colab Notebook) これはルール上失格にあたると思われるので確認がしたいです。加えてサンプルコードをベースに改善に挑んでいる参加者が軒並み失格になるのでアナウンスが必要に思われます。 https://colab.research.google.com/drive/14Vt49jkG6tjQib0P2w5AFIAKD6EwP2Dv | 情報提供ありがとうございます。把握していなかったため周知したく存じます。 | ||||||
58 | 2024/11/26 9:54:27 | U07K41NPDDG | shikitora | コンペルールについて | リーダーボードなど、自身の提出回数を確認する方法はありますか？ 20回が上限とのことだったため、気をつけたく・・・！ | 申し訳ございませんが、確認方法はないそうです。ご自身でカウントいただけますと幸いです。 | ||||||
59 | 2024/11/26 12:21:55 | ちっち | 山嵜 裕真 | コンペの採点について | 一般的なコンペは一部のデータでの評価をリーダーボードで表示して、最終結果は残りの全データで評価するような形だと思いますが、本コンペもそのような形でしょうか？ 仮にそうだとすると予選の締切ぎりぎりまでリーダーボードの上位にいたとしても優秀賞を取れないことがあるという理解で良いでしょうか？ | 最終結果の評価結果は非公表ですが、リーダーボードの評価より精度が高いとご理解ください。そのため、リーダーボードで上位でも優秀賞が取れない可能性はあります。 | ||||||
60 | 2024/11/26 12:48:06 | 藤尾 絢香 | fujio48694062 | Omnicampus, GPUなど開発環境について | 「最終課題コンペの参加登録が再々延長以降であった方は、11/25(月)以降にGPUを順次付与する」といった旨をSlackで拝見しました。 今後、GPUの配布が完了または予算上限に達した時は、告知いただけるのでしょうか？GPU配布の可能性ために、いつまで待機すればよいのかが分かりません。 お手数をお掛けしますが、何卒よろしくお願いいたします。 | 11/20(水)までにコンペエントリーを完了された方には既にGPUを付与しておりますが、再々延長期間にエントリーされた方につきましては、現在GPU付与に向けた作業を行っております。 利用可能な状態になりましたら、改めてSlackで全体に通知いたしますので今しばらくお待ち頂けますと幸いです（11/27(水)頃に通知予定）。なお、再々延長期間でエントリー頂いた方も含め、今のところ全員に12時間分の提供が可能な見込みでございます。 | ||||||
61 | 2024/11/26 13:03:34 | TajimaItsuro | TajimaItsuro | コンペルールについて | 回答シート57行にあるunslothがGemma 2の派生モデルを読み込んでしまう問題を、unslothをフォークして改変することで解決しました。しかし、これの私以外の利用は「複数人の開発不可」ルールに当たってしまうのではないでしょうか。 | 線引きが難しくて申し訳ないのですが、個人で開発したものを受講生全員で共有するのはむしろ推奨しております（コントリビューション部門）。複数人で方針を決めてクローズドで開発することは、最終的に成果物をオープンにするとしても禁止というルールです。 | ||||||
62 | 2024/11/26 19:33:56 | @Hiroyuki Moriyasu | moriyasu | コンペルールについて | ## 聞きたいこと 一度ファインチューニングしたモデルをさらにファインチューニングすることはコンペのルールとして問題ないでしょうか？ ## 例 - 1度目：「llm-jp-3-13b」モデルを「ichikara-instruction-003-001-1.json」データセットでファインチューニングし、「llm-jp-3-13b-it」モデルを生成 - 2度目：「llm-jp-3-13b-it」モデルを「ichikara-instruction-003-002-1.json」データセットでファインチューニングし、llm-jp-3-13b-it-v2モデルを生成 | 問題ございません。 | ||||||
63 | 2024/11/26 20:30:18 | nana Rowlet | rowlet_nana | huggingfaceでの名称について | 今更な感じもするのですが、Hugging faceにモデルをアップロードすると, ユーザ名？/モデル名 のような形になると思います。 このユーザ名に相当する部分はこの講座の受講者名みたいなものと同一にする必要はあるのでしょうか？ | いえ、提出の際、huggingfaceのURLを提出いただくだけで大丈夫です。 | ||||||
64 | 2024/11/27 0:06:02 | 42519 | yamaaa64 | 最終課題コンペへの参加登録について | 最終課題コンペへの参加登録の期限を過ぎてしまいました。大変恐縮ですが、もし可能であれば、今からでもコンペに参加することは可能でしょうか。 また、最終課題コンペに参加できなかった場合、講座の修了が難しくなるのかについても、お伺いできれば幸いです。 | 最終課題コンペティションへの追加エントリーはできかねますが、表彰対象外、GPU付与なし（ご自身で開発環境を準備頂く）で最終課題としてのご提出を承ることは可能です。 コンペティションとして参加頂くためには、運営においてGPU付与設定、Slackアカウントの紐付け等が発生するため、都度個別対応が困難であることをご理解頂けますと幸いです。 最終課題ルールを確認いただき、omnicampusよりご提出ください。 最終課題への取り組みは修了要件となります。修了要件詳細は受講の手引きをご確認ください。 尚、今後追加でGPUの付与を行う可能性がありますが、そのタイミングでコンペ参加として取り扱いが出来る可能性はありますので、その際は改めて全体にご連絡差し上げます（現状、実施するかはお約束出来ません）。 | ||||||
65 | 2024/11/27 0:19:17 | U07KR8VM7M3 | HirotoShibuya | コンペルールについて | 学習データについて3 つほどお問い合わせさせていただきます。 - 蒸留では指定モデルのみ使用可能で、合成データに関してはそれ以外のモデルが使用可能とありました。蒸留と合成データは同じものだと思っていましたが、何が違うのでしょうか - LLMで学習データを作ることを考えています（おそらく合成データに対応）。この場合、前に質問し回答いただいたように、NemotronやQwen, Llama3.1 をデータ作成に使用しても良いでしょうか。学習するモデルはgemma2 を想定しています。もしやっぱりgemma2 では使用不可でllm-jp モデルならばOKなどがもしあれば合わせてお教えいただけると幸いです。 - こちらも改めてお聞きしますが、elyza-tasks-100 について、gemma2 ではシードプロンプトにすることを含めそのままのデータ使用禁止という認識であるものの、人手でelyza-tasks-100 を参照し新たなデータセットを作ることは問題ないという認識で合っていますでしょうか 以上、ご返答のほどどうぞよろしくお願いいたします。 | > 蒸留と合成データ 広義には蒸留と合成データは重なる部分がありますが、基本的には異なる手法です。蒸留はモデルのアーキテクチャに関わるケースがあるため、禁止と許可の線引きが難しく恐縮ですが禁止とさせていただきました。 > Nemotronなどの使用 ライセンスに気を付けていただければ基本は問題ございません。CC-*-NA系はgemma2の学習に使えない可能性がありますのでご注意ください。 > elyza-tasks-100 禁止されているのはelyza-tasks-100-TVです。オリジナルのelyza-tasks-100は使用可能です。 | ||||||
66 | 2024/11/27 7:30:26 | Yu3733 | Yu3733 | Omnicampus, GPUなど開発環境について | TRLのコードも提供予定というのを、質問シートで見たのですが、いつ頃か分かりましたら教えてください。 UnslothだとGemma2の派生モデルがデフォルトでロードされるとの内容もあったので、TRLのコードが提供されるならGemma2はそちっで学習したいなと考えています。 お忙しいとは思いますが、よろしくお願い申し上げます。 | 先ほど公開いたしました。ただ、こちらでの動作確認はLLM-jp-3で行っており、Gemma2での動作を保証するものではないことはご了承ください。また、ichikara-instructionはGemma2では使用できない点もご注意ください。 | ||||||
67 | 2024/11/27 14:01:20 | ost-ma-okuda | ost-ma-okuda | Omnicampus > 宿題：【★提出不可】コントリビューション部門 リーダーボード について | トップ > LLM 2024 > 宿題：【★提出不可】コントリビューション部門 リーダーボード で間違って[Pythonコード提出]のボタンを押してしま、[提出済 採点待ちです]の状態になってしまいました。これって問題ございませんでしょうか？問題あれば[未提出]へのステータス変更よろしくお願いします。 | お問い合わせ頂きありがとうございます。 特にこちらにの提出箱については、提出物に対して処理を行う挙動はしておりませんので、そのまま放置して頂けますと幸いです。（コンペの採点には影響ございません） 講座トップ画面には「提出済み」との表記が出てしまうかと思いますが、こちらは仕様上削除出来ませんので、放置頂ければと思います。 | ||||||
68 | 2024/11/27 15:25:08 | Chihiro Arata(Aratako_LM) | Aratako_LM | コンペルールについて | コンペスケジュールの変更に伴う救済措置について質問です。 スケジュール変更に伴い、12/10時点で上位だがその後逆転された参加者には救済措置があるとのことですが、最後に提出したjsonlで評価がつくリーダーボードの仕様と合わせて考えると、一度12/10にこれまでで最も良いと考えられるものを上げておく必要があるとの認識であいますでしょうか。 また、12/10の何時時点の情報を確認されるかを教えていただきたいです。 | 本来の締め切りが12/10 12:00でしたのでその時点で判断いたします。また、モデルに関しては12/10 12:00の出力に用いたモデルと違ったとしても最終的に提出いただいているものを使うことになります。 | ||||||
69 | 2024/11/27 15:41:45 | U07L85AS5D4 | ikkowatanabe | Omnicampus, GPUなど開発環境について | 演習環境を起動できません 利用可能時間を超過していますと表示されます | コンペ参加の申込状況を確認しましたが、参加エントリーが確認できませんでした。GPU付与はエントリー制となっております。 | ||||||
70 | 2024/11/27 18:06:17 | 永井 ゆか | 永井 ゆか | コンペルールについて | 提出が求められているREADMEのサンプルはどこかで確認できますか？また、サンプルコードを実行した場合でもREADMEの提出は必須でしょうか？ | サンプルコードで実行した場合でもREADMEは必須となります。ただし、サンプルコードのModel_Inference_Template_20241127.ipynbまたはModel_Inference_Template_unsloth_20241127.ipynbにサンプルコードで作成したモデルの動かし方が書かれておりますので、それを参考にREADMEを書いていただければと思います。 | ||||||
71 | 2024/11/27 18:19:27 | satoyutaka | satoyutaka | Omnicampus, GPUなど開発環境について | 今朝午前五時にomunicampusにて提出したのですが、採点中で採点が完了しません。ブラウザの更新ボタンを押しても同様です。先ほど18時15分頃、再度ファイルをアップロードして、提出を押してみましたがはやり採点中です。どのように対応すればよろしいでしょうか？ | L72で回答済み | ||||||
72 | 2024/11/27 18:26:55 | satoyutaka | satoyutaka | Omnicampus, GPUなど開発環境について | 先ほどの「2024/11/27 18:19:27」のわたくしの質問を取り消します。ブラウザ更新で18時の提出が採点されました。 | ご確認頂きありがとうございます。無事採点されたとのことで安心いたしました。 | ||||||
73 | 2024/11/27 18:39:16 | U07K8065VGW | tokutsu-ai | Omnicampus, GPUなど開発環境について | タスク提出の回数制限(25回)について、残り提出回数(又は、今何回目の提出か)の情報を、どこかに表示して頂けますと大変有難いのですが、ご対応可能でしょうか。 | ご意見頂きありがとうございます。 既に運営チーム内部で共有し、Omnicampusの改修検討を進めております。エンジニアチームと連携しておりますので、機能リリースまで少々お待ち頂けますと幸いです。 | ||||||
74 | 2024/11/27 18:47:19 | Chihiro Arata(Aratako_LM) | Aratako_LM | コンペルールについて | 決勝戦における人手評価の際、出力テキストはマークダウンで表示されるのでしょうか？あるいはplain textでしょうか。 | 出力テキストはplain textの予定です。 | ||||||
75 | 2024/11/27 20:03:54 | KoheiIkeda | KoheiIkeda | コントリビューション部門の集計について | 現状、最後に投稿した書き込みのユニークスタンプ数になっています。新しい投稿を行うと、以前のランキングが消えてしまいます。また、ユニーク数も実際よりかなり少なめに出るようです。スタッフなど対象外の人を抜いているとしても、数が合わないように思えますので、確認おねがいできますでしょうか？ | 申し訳ありません。こちら不具合の発生を確認しておりまして現在修正作業中です。 | ||||||
76 | 2024/11/27 20:20:23 | U07L85AS5D4 | 44538 | Omnicampus, GPUなど開発環境について | 演習環境を起動できません 利用可能時間を超過していますとなってしまいます | |||||||
77 | 2024/11/27 20:20:37 | terazawa | terazawa | サンプルプログラムの動作 | サンプルプログラムの最初で、下記を実行したところ、下記のエラーが表示されますが、無視してよろしいでしょうか。 # python 3.10.12 !pip install -U pip !pip install -U transformers !pip install -U bitsandbytes !pip install -U accelerate !pip install -U datasets !pip install -U peft !pip install -U trl !pip install -U wandb !pip install ipywidgets --upgrade 表示 ERROR: pip's dependency resolver does not currently take into account all the packages that are installed. This behaviour is the source of the following dependency conflicts. gcsfs 2024.10.0 requires fsspec==2024.10.0, but you have fsspec 2024.9.0 which is incompatible. 和訳 ERROR: pipの依存関係解決ツールは、現在インストールされているすべてのパッケージを考慮していません。この振る舞いが、以下の依存関係の衝突の原因となっています。 gcsfs 2024.10.0にはfsspec==2024.10.0が必要ですが、fsspec 2024.9.0があり、互換性がありません。 | このメッセージは気にされなくて大丈夫です。正常に学習できることを確認しております。 | ||||||
78 | 2024/11/27 21:52:23 | terazawa | terazawa | サンプルプログラム | 環境：オムニキャンパスのJupiterで、何度やっても、この部分で動かなくて苦慮しております。 サンプルプログラム：LoRA_template_20241127.ipynb model = AutoModelForCausalLM.from_pretrained( base_model_id, quantization_config=bnb_config, device_map="auto" ) tokenizer = AutoTokenizer.from_pretrained(base_model_id, trust_remote_code=True) | おそらくGPUの認識がうまくいっていないと思われます。演習環境の停止と起動を行い立ち上げ直してください。また、GPUが確実に認識されるために起動後、5分待ってから作業を始めていただければと思います。 | ||||||
79 | 2024/11/27 21:55:07 | Hisanori Ozaki | HisanoriOzaki | Omnicampus, GPUなど開発環境について | unslothをインストールしたく requirementにunsloth[cu118-torch240] @ git+https://github.com/unslothai/unsloth.gitと書いたが動かない torch.__version 2.4.1+cu118 Pythonのバージョン '3.10.14 (main, May 6 2024, 19:42:50) [GCC 11.2.0]' CUDA Version: 12.6 unslothの公式ドキュメントを読む限り上記の環境で動くはずなんですが、助けていただけると幸いです。 gpuはrtx4090を使用しており、dockerからイメージを使用しcudaで動かしています unslothはPyTorchいくつで動きますか？ | 大変恐縮ですが、omni以外の環境構築のサポートは原則行っておりません。ただ、cudaのバージョンを12.1などに落とした方がいいように思います。 | ||||||
80 | 2024/11/27 22:06:27 | U05QERHUY1E | CarlosLuis | コンペルールについて | 【ローカル埋め込みモデルで事前にベクトルデータベースを作り，RAGを構成するのはルール内でしょうか？】 ベクトルデータベースを伴うRAGでelyza-tasks-100-TVのタスクを解く場合，そのベクトルデータベース・ベクトル表現を開発段階で予め準備しておき，LLMで推論コードを実行し実際にelyza-tasks-100-TVを解く工程からベクトル表現を作る段階を除外し，ベクトル表現を作るのに掛かる時間を排除することは可能でしょうか？ 具体的には，以下のような構成・作成手順でRAGシステムを構築するのはルールに沿うでしょうか？「1.だけ違反だが，2.以降は許容」など，違反箇所をご指摘いただけますと幸いです。 ------ ここからRAGシステム開発 ------ 1. elyza-tasks-100-TVの指示文を，ローカルで動作する埋め込みモデルで予めベクトル表現にして，elyza-tasks-100-TVの指示文のベクトルデータベース（タスクのベクトルデータベース）を作成する 2. elyza-tasks-100-TVの指示文の指示文から検索して取得したいデータセットを，ローカルで動作する埋め込みモデルで予めベクトル表現にして，検索対象ベクトルデータベースを作成する ------ ここまでRAGシステム開発 ------ ------ ここからLLMでの推論コードの実行（実際にelyza-tasks-100-TVを解く） ------ 3. 1.と2.のベクトルデータベースを推論コードの実行環境にダウンロード 4. FTしたLLMで実際にelyza-tasks-100-TVを解く際に，いまLLMが解いているelyza-tasks-100-TVのタスクと1.の「タスクのベクトルデータベース」をタスクIDで照合し，「タスクのベクトルデータベース」からタスクのベクトル表現を取得 5. 「検索対象ベクトルデータベース」の中でタスクのベクトル表現と最も近しいベクトル表現を取得 6. 5.で取得したベクトル表現をデコードして自然言語文字列に直し，いまLLMが解いているelyza-tasks-100-TVのタスクのプロンプトに注入する | elyza-tasks-100-TVの使用は開発のあらゆる段階で禁止されているため、1も2も禁止となります。オリジナルとなるelyza-tasks-100であれば使用可能ですので、そちらで再度検討いただければと思います。 | ||||||
81 | 2024/11/28 4:44:45 | Chris_William | Chris_William | コンペルールについて | 過去(No.53)の質問と似ていますが、自分はカウント数を間違ってしまい、上限に達してしまいました。最後の評価が採用されるとのことですが、最新値が基準点に至らず、一方過去の提出物が基準点に至った場合、再度提出させて頂くことは可能でしょうか。その場合、どのように提出したら宜しいでしょうか。 お忙しい中恐縮ですが、ご教示頂けますと幸いです。 宜しくお願い致します。 | こちら、即時に回答するのは難しいのですが何かしら検討させていただきます。 | ||||||
82 | 2024/11/28 7:48:13 | TaroNakasendo | TaroNakasendo | 要望 | コントリビューション部門 リーダーボードから、対象のスレッドへのリンクとタイトルを表示していただけないでしょうか？ 役に立つ質問が一覧出来て便利だと思います ランキングが固定化されてしまう恐れもありますが。。 | ご提案ありがとうございます。現状、運営が手一杯で即時の対応が難しいのですが考えたいと思います。 | ||||||
83 | 2024/11/28 14:23:43 | U07K5UB6CTF | KatsumiHisao | コンペルールについて | ルールにて「タスクの最終的な出力は開発したLLMによるもののみ。ただしLLMの出力を以下のコマンドで一律に加工することは可とする。また、タスクの出力から入力部分を削除する処理に関しても可とする。」（11/28時点）とありますが、これはCoTなどを用いて思考プロセスも含めて出力させた場合に、最後の回答のみを切り取るような処理も不可という判断でしょうか？ | 本タスクにおいて思考プロセスを出力することで点数が減少するものは限られますので、一般的にはプロセスも含めて出力とするのが適切だと考えます。 | ||||||
84 | 2024/11/28 17:18:42 | Tatsukichi Yamashita | tatsuyama | コンペルールについて | 記述が見つからず、話題にも上がっていないようなので質問させてください。 プロンプトによる工夫は本コンペのルールとしては問題ないでしょうか。 | 問題ありません。 | ||||||
85 | 2024/11/28 19:06:41 | ykuma777 | Yoshiyuki_Sakuma | コンペルールについて | pro課金してA100で学習回しても良いんですよね？確認です。念の為。 | 問題ありません。 | ||||||
86 | 2024/11/29 2:51:01 | YasutakaNishii | YasutakaNishii | サンプルコード改善案 | Model_Inference_Template_unsloth_20241127.ipynb 置換後の引数が指定されていなかったようです 最終セル 変更前 # ここではadapter_idを元にファイル名を決定しているが、ファイル名は任意で問題なし。 json_file_id = re.sub(".*/", adapter_id) 変更後 # ここではadapter_idを元にファイル名を決定しているが、ファイル名は任意で問題なし。 json_file_id = re.sub(".*/", "",adapter_id) | ご指摘ありがとうございます。失礼しました。修正いたします。 | ||||||
87 | 2024/11/29 6:47:02 | hiroga1030 | hiroga1030 | Omnicampus, GPUなど開発環境について | Omnicampus環境を起動したものの、URLの名前解決で失敗しているらしく接続ができません。 | 接続が不安定で申し訳ありません。少し時間を空けて（5分程度）、リロードなどしていただき、それでもダメな場合は、再起動いただければと思います。 | ||||||
88 | 2024/11/29 8:00:32 | ykuma777 | Yoshiyuki_Sakuma | Omnicampus, GPUなど開発環境について | 残り何回か分からないと、良さそうなものでも安心して採点に出せません。最終提出物で判定となるのであれば残回数を表示できませんか？（システム何では計算に使っているのだから表示は難しくないのではないでしょうか?） | |||||||
89 | 2024/11/29 8:39:45 | ost-ma-okuda | ost-ma-okuda | Omnicampus, GPUなど開発環境について | Omnicanpusの宿題提出について、 URLを記載してください のところで https://huggingface.co/ost-ma-okuda/llm-jp-3-13b-it-elyza-100 と記載すると、[提出]ボタンが非アクティブになり提出できません。 上記のリンクから1文字変更すると[提出]ボタンが有効になるのですが、 実際のURLを記載して提出したいのですが、どの様にすればよろしいでしょうか？ | こちら画面をリロードいただくとどうでしょうか？ | ||||||
90 | 2024/11/29 14:03:05 | U07K5UB6CTF | KatsumiHisao | コンペルールについて | 採点システムの挙動について、生成された回答が空である場合はどのように扱われるのかが気になりました。おそらく、GPTで採点して各回答の平均スコアを出していると想像しています。私の勘違いかもしれませんが、モデルが回答を答えられずにoutputが空であった場合、平均点の分母にうまく反映されていない（明らかにスコアが高く見積もられている）ような感触がありました。ご確認をいただくことは可能でしょうか？必要であれば、高いスコアの出た出力ファイルを共有いたします。 | ご報告ありがとうございます。テストしたところ、確かに予選のリーダーボードでは全て空欄の回答を高く評価することがわかりました。一方、最終的な評価アルゴリズムで試したところ基準点を大きく下回るスコアになりましたのでお気を付けください。単純に精度の問題となります。なお、一般的な回答においてはここまでの差は出ないことを確認済みです。 | ||||||
91 | 2024/11/29 15:55:52 | 氏名：石原昌文 | maty0505 | コンペルールについて | 最終課題コンペティションが、提出回数の上限に達してしまいました。提出しないとスコアがわからないので、学習のたびに提出しています。学習したからと言ってスコアがアップするわけではないので、下がる場合もあります。下がった状態で上限に達してしまったので、提出回数の上限を増やして頂くか、これまでの最高値を選択するなりにして頂けないでしょうか。 よろしくお願いします。 | |||||||
92 | 2024/11/29 16:49:53 | kojiabe2024 | kojiabe2024 | コンペルールについて | elyza/ELYZA-tasks-100（TVではない）について質問です。 以下のようにFTを繰り返し、途中でelyza/ELYZA-tasks-100を使用しました。 この場合、ルールに則っているか確認させて下さい。 質問が重複していたらすみません。 llm-jp/llm-jp-3-XXb + ichikara-instruction-YY -> model A model A + elyza/ELYZA-tasks-100 -> model B | 問題ございません | ||||||
93 | 2024/11/29 17:26:48 | ost-ma-okuda | ost-ma-okuda | Omnicampus, GPUなど開発環境について | 問い合わせフォーム、89行目「こちら画面をリロードいただくとどうでしょうか？」に対する回答 リロードしてもアクティブになりません。 URLのリンクの最後に「/」を追加して凌いでいますが、他に解決方法はないでしょうか？ | すみません、こちらお待ちいただけますと幸いです。 | ||||||
94 | 2024/11/29 19:21:25 | sam_murayama | sam_murayama | サンプルプログラムについて | サンプルプログラムをLoRA_template_unsloth2.ipynbからLoRA_template_20241127.ipynbに変更したところ、評価値が2.98 -> 2.62と0.36も下がりました。 いずれも基本的にプログラムは変更せず、そのまま使用しています。（後者は、Google Colab使用にためのbase_model_idのみ） 使用環境は、いずれもGoogle Colab, L4, Pro+です。 １）両プログラムとも基本的に処理内容（学習パラメータなど）は同じですか？ （記憶が不確かですが、学習時間が前者では約２０分だったのに対して、後者では約４０分かかったような気がします） ２）１）が同じ場合、ばらつき（乱数やTemperatureなど）でこれだけ変化するものでしょうか？ ３）評価プログラムに変更はありませんか？ ４）サンプルプログラムそのままの評価が終わったので、これからアップデートされたLoRA_template_20241127.ipynbに小変更を加えていこうと考えていましたが、0.36も下がってしまったものをベースに進めてよいものか迷っています。アドバイスをお願いします。 ５）上記の評価値ダウンについて、こちらの操作ミスなどの可能性は何か考えられるでしょうか？ | 1) 学習時間の違いはunslothを用いているかどうかによるものです 2)乱数の影響だけでなく、LoRAやSFTのパラメータの違いも影響しております。手法自体は同じですのでLoRA_template_20241127.ipynbでもパラメータの調整を行うことで同程度の水準に達すると思われます 3)評価プログラムは変更しておりません 4)unsloth版はカスタマイズの難易度が高い一方で、使用するメモリサイズや速度にはアドバンテージがあるため、どちらを使うかは各受講生の判断にお任せします 5)運営側でも同じ結果です。基準点相当にするための最低限のパラメータ調整しかしておりませんのでこのような結果となっております。 | ||||||
95 | 2024/11/29 20:13:46 | U07KQL0JUSC | IshiiTakahiro | コンペルールについて | サンプルコードの推論メソッドのパラメータ(max_new_tokens = 512,use_cache,、do_sample,その他全て)は自由に変えてもよいのでしょうか？ | 変えても問題ございません | ||||||
96 | 2024/11/29 20:35:53 | fuji4411 | fuji4411 | コンペルールについて | 元データ"llm-jp"の学習に使用する"ichikara-instruction-003-001-1.json"のようなデータ（これのことを合成データと呼ぶの？）について、仮に完全ライセンスフリーだが英語で作成されたものをGoogle翻訳などの機械翻訳を利用して日本語化させたものを利用することはNGでしょうか？ | 生成AIの学習を認める翻訳サービスと認めない翻訳サービスの両方が存在すると認識しております。各サービスの規約をお調べいただければと思います。合成データは「LLMにより生成されたデータ」とお考え下さい。ichikaraは人手により作成されたデータなので合成データとはなりません。 | ||||||
97 | 2024/11/29 21:17:59 | U07KQL0JUSC | IshiiTakahiro | コンペルールについて | サンプルコードで例えば一つとしては、!pip install --upgrade --no-cache-dir "unsloth[colab-new] @ git+https://github.com/unslothai/unsloth.git"などはmainブランチの最新版を取得するかと思いますが、かなりの頻度で更新されているものもあります。例えば、締め切り後に不具合が入ったり非推奨になったりbugfixされ互換性が崩れる可能性がありますが、本番評価のタイミングで動かない場合などに関して、ルール上の定義を教えていただけないでしょうか。 | 最新版に不具合があった場合はこちらで一律で対処いたします。それ以外のケースに関しては受講生側の責任となりますので、バージョンを指定いただくのが無難です。 | ||||||
98 | 2024/11/30 0:27:40 | U07BPPX78SG | abe_tetsuya | コンペルールについて | いつもありがとうございます RAGはOKとのことですが、MoEやCOT的なことを試してみたいと考えています。 タスクの質問内容に応じてモデルを切り替えたり、プロンプトを追加することはOKでしょうか？ また、一つのタスクに対して複数回推論させる（回答を自己評価させてリトライ等）こともOKでしょうか？ 推論が1時間以内に完了すればOKという認識です。 ご確認よろしくお願いいたします | MoEではLLM-jp-3やgemma 2のこちらが指定するモデルをベースとしていただければ問題ございません。COTも同様です。複数回出力も問題ございません。 | ||||||
99 | 2024/11/30 6:27:40 | TurkiYasuda | TurkiYasuda | Omnicampus, GPUなど開発環境について | Omnicampus上で、初めてGPU1で起動してみましたが、「総GPU起動時間0時間」「利用済GPU起動時間0時間」で、エラーメッセージ「演習環境を起動できません。利用可能時間を超過しています」となり起動できません。ご確認いただければ幸いです。 | お調べしましたところ、2024/11/13 23:25:57 に頂いた申請で「自身で開発環境を用意出来るので希望しない」旨選択頂いて降りますため、GPUは付与しておりません。恐れ入りますが、ご自身で開発環境を準備頂けますと幸いです。 | ||||||
100 | 2024/11/30 17:55:06 | sam_murayama | sam_murayama | Omnicampus, GPUなど開発環境について | L81, 91と類似した質問ですが、最初にOmniCampuasからjsonlファイルとURLを提出した際に、Omnicampusの調子が悪く、試行錯誤しながら、何度も提出ボタンを押したので、提出回数が想定以上にカウントされていないかを危惧しています。 評価値は最新の値が適用されるので、想定外のタイミングで２５回に達した場合、合格基準を満足しそうな過去の提出物を再提出できなくなります。 どのように対応すべきか、ご助言をいただきたく。 | こちらの問題に関しては何かしら対応できないか検討中ですのでお待ちいただけますと幸いです。 | ||||||
101 | 2024/11/30 21:56:12 | U07K6LHAJ59 | haraguchi | コンペルールについて | お世話になっております。来週DPOのサンプルコードを配布いただけるとのことですが、その後も修正以外の重要なサンプルコードの配布はご予定されていますでしょうか。また配布をお考えの場合、いつ頃をご予定されていますか。よろしくお願いいたします。 | 検討中ではありますが、現時点ではDPO以外の配布は予定しておりません。 | ||||||
102 | 2024/12/01 8:51:21 | hiroga1030 | hiroga1030 | コンペルールについて | いつもご対応ありがとうございます。コントリビューション部門についてですが、チャンネルにピン留めできる件数が上限の100件に到達しているらしく、立候補ができませんでした。 すでにご認識済みかもしれませんが、念のためご報告させていただきます！ | 失礼しました。現在、対応へ向けて動いておりますのでよろしくお願いいたします。 |