kstost/aiexe

API 사용 경제성 개선에 관한 제안

Opened this issue · 1 comments

안녕하세요, OpenAI API를 통해서 GPT-4o를 써서 애플리케이션을 이용하고 있는 이용자입니다.
먼저 훌륭한 애플리케이션을 만들어주신것에 대해서 감사를 드립니다.

저는 aiexe가 코드를 짜도록 한 다음, stdout을 통해 일부 정보를 내보냄으로서 AI가 코드 실행상황에 대해서 인지하게 하도록 한 다음, 하나씩 개선하는 전략으로 사용하고 있는데요.
문제는 대량의 stdout이 발생할 경우, 이것을 AI에게 인지시키는 과정에서 많은 비용이 발생한다는 점입니다. 이렇게 대량으로 발생한 stdout은 중복된 오류일 가능성이 높기 때문에 모두 다 보여줄 필요는 없어 보입니다.
이 부분을 개선하려면, 비용적인 문제에서 상대적으로 자유로운 local AI를 통해서 긴 stdout을 조건부로 축약시킬 수 있을 것이고, 다행이고 stdout 출력은 영어이므로 한국어 사용이 자유롭지 않은 각종 AI model이 이 과정에서 다양하게 사용될 수 있습니다.

이것은 잠재적으로 유료 API를 경제적으로 사용할 수 있게 해주므로 여러 파이프라인에서 유용할 것으로 기대됩니다.
늘 감사합니다.

P.S 애플리케이션의 instruction을 변경해서 더 나은 답변(사용자에게 맞춰진)을 얻을 수 있다면 좋겠습니다. 해당 기능을 구현할 예정이 있나요?

for english users :

Hello, I am a user of the app using GPT-4o via the OpenAI API.
Firstly, I would like to thank you for a great application.

I am using the strategy of letting aiexe write the code, and then exporting some information via stdout to make the AI aware of the code execution, and then improving it one by one.
The problem is that when you have a large amount of stdout, it's expensive to make the AI aware of it, and it doesn't need to see all of it because it's likely to be duplicate errors.
To improve this, a local AI that is relatively cost-free could conditionally shorten long stdouts, and fortunately, since stdout output is in English, various AI models that are not limited to using Korean could be used in this process.

This is potentially an economical way to use a paid API, so I expect it to be useful in many pipelines.
Thanks as always.

P.S It would be nice to be able to change the instruction in the application to get a better answer (customised to the user), do you have any plans to implement that feature?