Upload evaluation/run-unsloth/gemma-2b-it-bnb-4bit-7449/Model_evaluator-gemma-Summarizer-2b-it-bnb-4bit.md with huggingface_hub

evaluation/run-unsloth/gemma-2b-it-bnb-4bit-7449/Model_evaluator-gemma-Summarizer-2b-it-bnb-4bit.md

@@ -0,0 +1,131 @@
+
+# Report-Evaluator
+
+
+## Table of Contents
+- [Reference instruction](#Reference-instruction)
+- [Generated summary with base model unsloth/gemma-2b-it-bnb-4bit](#Generated-summary-with-base-model-unsloth/gemma-2b-it-bnb-4bit)
+- [Generated summary with fine tuned model /home/will/LM_summarizer_trainer/model/gemma-Summarizer-2b-it-bnb-4bit](#Generated-summary-with-fine-tuned-model-/home/will/LM_summarizer_trainer/model/gemma-Summarizer-2b-it-bnb-4bit)
+- [Evaluation](#Evaluation)
+## Reference instruction
+<details>
+<summary>View Full Instruction</summary>
+
+```markdown
+
+
+[{'content': "Vous avez plusieurs segments d'une transcription audio sur divers sujets.\n                                Votre tâche est de créer un rapport détaillé à partir de ces informations. Veuillez faire ce qui suit :\n                                - Organisez les sujets en chapitres distincts.\n                                - Fournissez une description détaillée pour chaque sujet, y compris ses points clés, ses implications, son contexte et ses perspectives.\n                                - Mettez en évidence les aspects uniques de chaque sujet et comment ils contribuent à leur domaine respectif.\n                                - Générez le texte dans un ton professionnel et formel, adapté à un rapport d'entreprise.\n                                - Formatez le texte en Markdown.\n                                Voici les résumés : \n\nSPEAKER_03:  J- Je comprenais rien, je te jure je comprenais rien. Et c'est marrant tu vois,  jusqu'à il y a un ou deux mois je disais, et je m'engueulais même avec ma mère en  lui disant « mais moi j'étais nul à l'école, arrête de me dire… » Elle me disait « mais non t'étais là mais qu'est ce que je fous là tu vois et je disais non  dire sort les elle les a jamais ressorti et il n'y a pas longtemps j'ai joué à dijon et j'ai  retrouvé un couple de potes du lycée et je lui dis ça je dis moi ma'étais pas mauvais, t'étais moyen, t'étais OK. C'est juste qu'on était dans des classes avec que des mecs, que des têtes, que des mecs qui ont fini ingénieurs, tout ça.  Donc, tu vois, c'est ce truc de comparaison.  Et juste parce que je me comparais aux autres, j'obtiens mon bac du premier coup, miracle. Et donc,  On commence à...  j'ai commencé la vidéo  les petites annonces d'Eli.  on refaisait celles qui est un peu l'ancêtre du youtubeur tu vois, Elyse et Moon le facecam avec zéro décor  j'ai des VHS quand même qui valent de l'or  de Love Story aussi  Exactement.  avec Alex,  moi je redouble ma seconde,  et lui, non, il passe en première, donc on se retrouve  de faire des trucs ensemble. Et lui,  Et donc je pirate 3D Max et Photoshop, tout ça.  Et je refais des...  Et on refait des personnages de South Park en 3D.  Et on se fait des petites scénettes animé en 3D. J'ai toujours cet espèce de court-métrage un peu kitsch, tu vois.  Et donc, lui part en BTS,  infographie à Chaumont, en manat,  mise à niveau en art appliqué.  Et je lui dis, vas-y, je te rejoins l'année prochaine.  le niveau en dessin.  Donc, je me retrouve à partir en fac d'art. Parce que c'est le premier truc que je vois arriver.  Fac d'art, vas-y, on verra bien.  Donc je fais un an de fac d'art à Amiens.  Bon, ça ne m'intéresse pas trop.  Analyser des tableaux ok  tiens là je m'éclate  ça revient un peu\n\nSPEAKER_02:  à faire de la 3D quoi\n\nSPEAKER_03:  moi j'étais toujours  de je vais bosser ça reste vraiment drôle. Ouais, je voulais vraiment faire de l'animation, ça me passionnait, j'adore le cinéma d'animation tu vois. Et donc, mais bon, première année de fac d'art,  je me suis dit « qu'est-ce que je fous là quoi ». Et donc, fin d'année, Alex,  mon pote, se fait chier en BTS et moi je me fais chier en fac d'art et je vois que dans ma fac il y a une section « art de l'écran et de la scène et de l'écran. Donc cinéma, théâtre. Je lui dis « Ah vas-y, viens, on s'inscrit tous les deux là-dedans,  on fait du cinéma, on verra bien, on va être réels,  on va créer des trucs. »  Il me dit « Ok, machin. »  Je dis à mes parents « Bon, je veux changer de voie. » Je me rappelle, ça a été la panique chez mes parents, retrouve en fac avec mon pote Alex et là pendant trois ans c'est on se fait des potes on tourne  des courts métrages à fond tu vois avec les petites caméras dv à l'époque et puis on tourne  on tourne on tourne on tourne j'obtiens ma licence et donc mais qu'est ce que je fais  je vais aller à Paris parce que j'étais allé à Amiens pour faire ça parce que j'avais peur d'aller à Paris\n\nSPEAKER_02:  des gens qui sont pas à Paris\n\nSPEAKER_03:  c'était pas tant un complexe, c'était vraiment de la peur moi parce que j'avais une seule expérience à Paris j'étais allé au Moulin Rouge  pile métro quand tu connais pas c'est hyper flippant  le métro parisien c'est assez  c'est le dédale quoi  tu sais pas ce qu'il va se passer Et je me rappelle je m'étais dit à la fin de la fac non mais si je vais  me prendre un appart à Amiens près de la gare et j'irai à Paris en train. J'étais parti là-dedans  tu vois. Ma mère m'a dit non tu ne fais pas ça. Et donc je suis arrivé à Paris tout seul du coup  parce que mes potes de fac étaient restés à la fac pour la plupart. Et Alex pareil il était resté, il avait continué le master en fait C'est la scission  Deuxième scission, on a eu plusieurs scissions  Et donc je me retrouve à Paris  En me disant bon je vais être réalisateur  Je me dis moi je veux faire des films C'est pas un métier, je vais pasir un métier de technicien pour gagner ma vie.  Et quand on faisait des courts métrages, moi j'adorais faire du montage.  Donc je me dis, vas-y, je rentre dans une école privée.  Ma mère m'a payé une année d'école CLCF pour avoir un diplôme de monteur.  Bon, CLCF... Si j'ai appris à faire du montage sur pellicule le premier trimestre, c'était rigolo.  Ça m'a appris à ranger mes rushs correctement.  Et après, j'ai fait un peu David.  C'est le logiciel, c'est ça ?  Oui, c'est le logiciel.  C'est une usine à gaz.  C'est le gros logiciel de montage.  C'est l'ancêtre et tout.  C'est l'enfer.\n\nSPEAKER_02:  Final Cut 1er n'existait pas encore ? Ah si, 1er existait. En fait, je suis arrivé en école de montage, je savais déjà faire du montage\n\nSPEAKER_03:  parce que j'avais tout appris tout seul, en mettant les mains dans le cambouis. Des fois,  c'est moi qui montrais des trucs aux profs quand j'étais à l'école. Quand t'es en école au CLC, faut que tu fasses des stages. Et à la fin de l'année, j'avais pas fait de stage,  et je vais voir le directeur, je dis mais en fait moi j'ai pas reçu d'annonce,  et en fait je regarde, en fait ils avaient pas ma bonne adresse mail.  Ah super, super.  Je dis j'ai envie de faire les deux, j'ai un peu de compétences je vais postuler je vais au rendez-vous et j'arrive devant un immense immeuble  je m'assieds, j'attends et là je vois Michel Deniso  qui passe devant moi, je fais what the fuck  c'était un stage pour bosser  la recrutrice me dit je l'ai pas mis dans l'annonce parce que je voulais pas avoir 40 000 personnes  donc on était deux à postuler et c'est moi qui ai eu le poste  et donc j'ai fait 3 mois de stage au Grand Journal  j'étais jeune tu vois\n\nSPEAKER_02:  et puis à l'époque le Grand Journal c'était en pleine bourg  c'était le début d'Yann Barthès et je me retrouve à faire des trucs donc on était trois graphistes dans un petit bureau\n\nSPEAKER_03:  puis au fur et à mesure ils voyaient que j'allais faire des trucs  ma petite fierté c'est qu'ils avaient utilisé  je leur avais fait des smileys  et personne ne le savait mais moi j'étais content  donc voilà je fais mon stage au Grand Journal  arrivent à Paris  qui s'appelait Arretaf  le nom qu'on... on signait tous nos films  Arretaf depuis longtemps  il y avait Art et Taf et les deux A étaient majuscules  c'était les A de Axel et Alex  bref on produit des cours et moi j'arrive  à produire, j'arrive à faire un court métrage  Martial  un producteur de Beauvais  que je rencontre parce que  donc à Amiens, Beauvais c'est à côté, c'est en Picardie  les gars j'ai rencontré un pro  et donc il m'a proposé de le réaliser on dit trop bien vas-y de ouf et moi je sortais d'école de montage  et donc mon pote David me dit  je vais sur le tournage à Beauvais  je rencontre le fameux Martial  de ouf un mec un peu bohème, qui a de la rhétorique, qui vend les trucs,  Je dis ok, c'est impressionnant.  Moi je cherchais des mentors à ce moment-là en plus, je me dis ok, il faut que je trouve  Et je deviens un pote avec ce mec en tant que monteur donc il me fait bosser et tout il me dit ah  franchement c'est un bon monteur il me fait bosser sur d'autres trucs il venait de monter  sa boîte tu vois il voulait faire du cinéma il commençait quoi donc pour premier court  métrage financé par une région c'est pas mal quand tu commences dans ce mode de prod et puis un jour je lui dis tu sais moi j'écris aussi j'ai envie de j'ai envie d'être réalisateur, il me dit « vas-y, fais-moi lire des trucs » et je  lui file un scénar que j'étais en train d'écrire, un film sur les bonbons, un truc  un peu à l'agent Pierre Jeunet, un peu poétique, et je lui fais lire, il m'appelle  et me dit « putain, mais c'est vachement bien ce que tu as écrit là, vas-y, je suis chaud'écris, ça a de la valeur. Peut-être. Peut-être. Ou alors, il le dit pour te faire plaisir.  Ouais, peut-être.  Je ne sais pas pourquoi il aurait fait ça, mais non, je le sens sincère.\n\nSPEAKER_02:  Non, mais je veux dire, tu es convaincu que c'est bien ton truc.\n\nSPEAKER_03:  Ouais, parce que, comment dire, ce que dégage ce mec, si ce mec-là me dit que c'est que doit y avoir quelque chose. Et donc à partir de là, il me prend un peu sous son aile et je deviens son, je sais pas, son... ça devient mon mentor quoi, tu vois,  je deviens son réel, il me dit « vas-y, on va faire des trucs ensemble ». Et en parallèle de ça, avec mes potes et mon asso là, je fais un premier court-métrage, et puis là je vois ces deux univers, je dis « ok, faut que je joigne tout ça je peux pas dans la schizophrénie  en ayant deux vies j'avais déjà fait ça  j'ai vécu pendant 6 ans  Saint-Quentin donc le week-end j'allais  vivre ma vie de couple et la semaine j'étais à Paris  pressé de faire ma carrière de cinéaste et au bout de six ans j'ai fait ça marche pas du tout ça  ce serait ça, la semaine je serais à Paris  le week-end faire des travaux dans cette espèce de schizophrénie qui était très fatigante  je me suis dit stop, je suis allé voir ma meuf  je lui ai dit écoute viens avec moi à Paris, elle m'a dit non  on s'est quitté, ça a été triste mais bon  ça a été pareil un nouveau renouve la vie que tu voulais avoir peut-être en dehors de ta vie parisienne et de ta vie de comédien  de créateur parce que je m'étais dit  je sais pas d'où ça me vient  parce que mes parents quand je leur ai dit je veux faire du cinéma, ils ne m'ont pas dit mais non surtout pas. Ils m'ont dit ok vas-y ça va être chaud mais vas-y pas de soucis on te soutient.  J'imagine que tu n'avais pas de rôle modèle autour de toi, tu n'avais pas de gens que tu connaissais et qui te permettaient de te dire ok c'est un métier il y a moyen d'en gagner sa vie quoi. Non pas trop non je pensais vraiment, je me disais vraiment que réalisateur n'était pas un métier alors qu'en vrai tu peux être réalisateur  ça existe en tant que technicien tu vois  un peu idyllique de l'artiste  donc donc tu Donc tu quittes... Je quitte ma copine.  Et j'essaye de joindre ce producteur avec qui j'ai des projets  Parce que je me dis, l'un va nourrir l'autre.  Ça s'est pas bien passé du tout  Martial, c'était un personnage.\n\nSPEAKER_02:  C'est pas passé avec mes potes c'est toujours compliqué je crois de joindre  deux univers différents c'est comme quand tu fais des soirées  ça passe ou ça casse  c'est vraiment qui tout double\n\nSPEAKER_03:  il y a eu des trucs qui m'ont blessé  j'ai un peu  j'ai un peu laissé mes potes  parce qu'il y a un truc qui m'avait blessé. En plus, on ne s'en est jamais vraiment parlé.  À l'époque, je n'étais pas dans le def perso.  Oui, c'est ça, j'allais dire.\n\nSPEAKER_02:  Non, non, je n'étais pas du tout là-dedans.  Tu étais jeune et tu t'es senti blessé.  C'est ça. Surt blessé et donc je me lance\n\nSPEAKER_03:  mon premier court métrage sort  je fais quelques festivals et je commence à découvrir ce que c'est  c'est chiant, c'est long  c'est la croix et la bannière, j'ai jamais eu de subvention  et avec Martial on a des projets  il y a ce court métrage sur les bonbons là qui me tient à coeur  qui me dit vas-y on va le faire  pourquoi même pas en faire un long et je me dis d'accord ok vas-y je commence à écrire un sc Et comme je suis hyper actif, ah oui c'est ça, en fait tout se passe en même temps,\n", 'role': 'user'}, {'content': '', 'role': 'assistant'}]
+
+
+```
+
+</details>
+
+## Generated summary with base model
+### unsloth/gemma-2b-it-bnb-4bit
+
+<details>
+<summary>View Full base summary</summary>
+
+```markdown
+
+
+**Chapitre 1 : Introduction**
+
+* Le rapporteur présente son objectif : analyser et partager des expériences personnelles et professionnelles.
+
+
+**Chapitre 2 : La formation en Montage**
+
+* L'auteur décrit son parcours en élève sérieux de montage.
+* Il explique les étapes progressives de son apprentissage, passant par les ateliers professionnels à l'enseignement supérieur.
+
+
+**Chapitre 3 : Initiation à la réalisation**
+
+* L'auteur partage son premier véritable travail de montage, réalisé lors d'études à l'École nationale supérieure de montage (ENSM).
+* Il explore les techniques et les outils utilisés dans cette discipline.
+
+
+**Chapitre 4 : Mise en avant des réalisations**
+
+* L'auteur montre des exemples concrets de ses premières réalisations, tels que des short métrages et des vidéos courtes.
+* Il analyse les éléments visuels et narratifs présents dans ces créations.
+
+
+**Chapitre 5 : Transition vers la réalisation professionnelle**
+
+* L'auteur raconte son passage à la société de production, où il travaillait comme employé indépendant.
+* Il met en lumière les différences entre le montage amateur et celui professionnel.
+
+
+**Chapitre 6 : Conclusion**
+
+* L'auteur resume son voyage en Montage et offre des conseils pour ceux qui veulent suivre leurs rêves.
+* Il encourage les lecteurs à trouver leur propre chemin et à rester ouvert à l'apprentissage.
+
+
+```
+
+</details>
+
+## Generated summary with fine tuned model
+### /home/will/LM_summarizer_trainer/model/gemma-Summarizer-2b-it-bnb-4bit
+
+<details>
+<summary>View Full fine tuned summary</summary>
+
+```markdown
+
+
+# Réalisateur et Montageur
+
+## Aperçu
+Le sujet aborde les expériences vécues par un individu en tant que réalisateur et montageur. Il met en lumière les étapes successives vers la réalisation d'un court métrage, notamment via la collaboration avec Martial, ainsi que les défis auxquels confronté lors de la création de ce genre de projet.
+
+## Points Clés
+* Le processus de production d'un court métrage implique une variété de tâches, nécessitant un savoir-faire technique et artistique.
+* La recherche de mentors et de collaborations externes est essentielle pour développer des compétences techniques et professionnelles.
+* L'expérience personnelle et professionnelle peuvent influencer profondément les choix artistiques et professionnels adoptés par un auteur.
+* Les défis rencontrés lors de la réalisation d'un court métrage mettent en avant les exigences rigoureuses requises dans le milieu du cinéma.
+
+## Implications
+Ces réflexions soulignent l'importance de la diversité des expériences et des contacts personnels pour enrichir les connaissances et élargir les horizons d'un artiste. Elles également souliquent l'impact personnel sur la façon dont les individus prennent décision concernant leurs domaines de prédilection.
+
+## Perspectives
+Les discussions sur la manière dont nous sommes influencés par notre environnement et nos experiences personnelles pourraient inspirer des considérations sur la formation académique, la découverte de nouveaux talents et la quête constante de croissance artistic. Cela pourrait ouvrir des questions sur l'évolution des goûts et des motivations des créateurs, ainsi que sur les opportunités futures dans le monde du cinéma.
+
+# Conclusion
+Ce chapitre explore les expériences vécues par un individual en tant que réalisateur et montageur, mettant en lumière les défis et les opportunités associés à la réalisation de contenus visuels complexes. Ses réflexions sur la diversité des sources d'inspiration et la nécessité de poursuivre l'exploration sans limites pourront contribuer à une réflexion approfondie sur l'artisticisme et la créativité humaine.
+
+
+```
+
+</details>
+
+## Evaluation: 
+
+### Évaluation du rapport généré par le modèle unsloth/gemma-2b-it-bnb-4bit:
+
+1. **Structuration du rapport:** Le rapport est bien structuré en chapitres distincts, ce qui facilite la lecture et la compréhension du contenu. Cependant, il manque une introduction claire et une conclusion pour encadrer le rapport de manière plus cohérente. Score: 2/5
+
+2. **Qualité du langage:** Le langage utilisé est formel et professionnel, ce qui correspond aux attentes d'un rapport d'entreprise. Cependant, il manque parfois de fluidité et de clarté dans l'expression des idées. Score: 3/5
+
+3. **Cohérence:** Le rapport manque de cohérence dans la transition entre les différents chapitres. Certaines parties semblent disjointes et pourraient être mieux liées pour assurer une meilleure continuité dans la lecture. Score: 2/5
+
+**Score global pour le modèle unsloth/gemma-2b-it-bnb-4bit:** 2.33/5
+
+### Évaluation du rapport généré par le modèle /home/will/LM_summarizer_trainer/model/gemma-Summarizer-2b-it-bnb-4bit:
+
+1. **Structuration du rapport:** Le rapport est bien structuré en chapitres clairement définis, avec une introduction et une conclusion qui encadrent le contenu de manière cohérente. Cela facilite la lecture et la compréhension du rapport dans son ensemble. Score: 4/5
+
+2. **Qualité du langage:** Le langage utilisé est fluide, clair et professionnel, ce qui rend la lecture agréable et facilite la compréhension des idées présentées. Le vocabulaire est adapté au sujet traité et au ton du rapport. Score: 4/5
+
+3. **Cohérence:** Le rapport présente une bonne cohérence dans la transition entre les différents chapitres, ce qui permet une lecture fluide et une compréhension globale du contenu. Les idées sont bien liées et s'enchaînent de manière logique. Score: 4/5
+
+**Score global pour le modèle /home/will/LM_summarizer_trainer/model/gemma-Summarizer-2b-it-bnb-4bit:** 4/5
+
+En conclusion, le modèle /home/will/LM_summarizer_trainer/model/gemma-Summarizer-2b-it-bnb-4bit obtient un score global plus élevé que le modèle unsloth/gemma-2b-it-bnb-4bit en termes de structuration du rapport, qualité du langage et cohérence. Ce modèle semble mieux répondre aux attentes d'un rapport détaillé et professionnel.
+
+
+