Ce notebook explique les différentes étapes de tris et extraction du jeu de données "full_format_recipes.json".
Il s'agit d'un jeu de données de 20 000 recettes extraites du site Epicurious.
Ce jeu de données nous permet de travailler sur des recettes diverses avec plusieurs informations tel que les valeurs nutritionnelles, la note de la recette, les ingrédients, catégories...
Jeu de données obtenu sur: https://www.kaggle.com/hugodarwood/epirecipes
Plus de 20 000 recettes listées selon l’évaluation de la recette, l’information nutritionnelle et la(les) catégorie(s) attribuée(s) etc...
import numpy as np
import pandas as pd
from pandas import read_csv
from IPython.display import Image
df = pd.read_json("full_format_recipes.json")
df.head()
Nous avons trié les données par catégories pour obtenir des jeux de données plus petits afin de les exploiter et les afficher dans notre interface web. Avoir des jeux de données plus petits nous permet aussi d'étudier précisément certaines catégories en particuliers, faire un tri... Les jeux de données doivent contenir des catégories de recette pertinente tel que "Tarte", "Pâte" ou "Cookie" de sorte à montrer une certaine diversité dans les ingrédients, les directions...
Voici le détail de notre analyse afin de générer les différents jeux de données:
Trier les recettes par catégories:
#Nombre de résultats par catégorie
def getNumbersOfRecipeByCategories(df):
result = {}
for categoriesList in df.categories:
# check if it is really a list of categories
if not isinstance(categoriesList, list):
# if not, skip
continue
for categorie in categoriesList:
if categorie in result:
result[categorie] += 1
else:
result[categorie] = 1
return result
d = getNumbersOfRecipeByCategories(df)
d["Bean"]
sorted_countbycategoriesDict = sorted(getNumbersOfRecipeByCategories(df).items(), key=operator.itemgetter(1), reverse=True)
dFrame = pd.DataFrame(sorted_ingredientsDict, columns=['Categorie','Frequency'])
dFrame.head()
La liste ci-dessus nous donne les 5 catégories ayant le plus de recettes. Il existe des catégories qui sont moins pertinentes tel que des ingrédients comme "Onion","Tomato"... ou qui possède très peu de résultats (<200).
Pour obtenir la catégorie contenant le plus de recettes:
import operator
recipeCategCount = getNumbersOfRecipeByCategories(df)
max(recipeCategCount, key=recipeCategCount.get)
On remarque que la catégorie possédant le plus de recette est "Bon Appétit". Cette catégorie n'est pas pertinente car elle peut rassembler plusieurs recettes différentes qui n'ont aucune similarité comme on peut le voir sur le site d'Epicurious en allant dans cette catégorie:
Image(filename="images/categorie_bonappetit.png")
Le but est donc de trouver des recettes qui ont des bases similaires mais qui présentent aussi des variantes.
Trier les catégories par ordre décroissant de nombre de recettes:
# Ordre decroissant
# sorted_recipeCategCount = sorted(recipeCategCount.items(), key=operator.itemgetter(1))
# Ordre croissant
sorted_recipeCategCount = sorted(recipeCategCount.items(), key=operator.itemgetter(1), reverse=True)
dFrame2 = pd.DataFrame(sorted_recipeCategCount, columns=['Categorie','Frequency'])
dFrame2.head()
En regardant la liste des catégories triées on peut ainsi dégager des catégories interessantes tel que:
Génération des fichier json:
def keepCategorie(df, categorie):
rowToDelete = []
for row, categories in enumerate(df.categories):
if not isinstance(categories, list):
rowToDelete.append(row)
elif not categorie in categories:
rowToDelete.append(row)
df = df.drop(rowToDelete)
return df
# On veut garder seulement les pasta
df_pasta = keepCategorie(df,'Pasta')
# Avec le reset_index(drop=True) on reinitialise les index à partir de 0.
df_pasta.reset_index(drop=True).to_json('Pasta.json',orient='records')
pasta = pd.read_json("Pasta.json")
pasta.head()
# On veut garder seulement les sandwich
df_sw = keepCategorie(df,'Sandwich')
df_sw.reset_index(drop=True).to_json('Sandwich.json',orient='records')
sw = pd.read_json("Sandwich.json")
sw.head()
# On veut garder seulement les cookies
df_cookie = keepCategorie(df,'Cookies')
df_cookie.reset_index(drop=True).to_json('Cookies.json',orient='records')
cookie = pd.read_json("Cookies.json")
cookie.head()
Afin de tester avec le minimum de données (et pas un fichier json de plus de 200 à 900 résultats...)nous avons créé un fichier "Test" avec quelques données:
#Générer json avec 5 recettes
cookie = pd.read_json("Cookies.json")
head_cookie= cookie.head()
head_cookie.to_json('Cookies_small.json',orient='records')
data_small = pd.read_json("Cookies_small.json")
data_small
En regardant les résultats des fichier générés on vérifie bien que les intitulés des recettes correspondent.
Par exemple si on prend cette ligne de "Cookies.json" qui correspond à une recette au nom de "Roasted-Almond Thumbprints" on peut se douter qu'il ne s'agisse pas d'une recette de cookie.
Image(filename="images/ligne_roastedalmond.png")
et qu'on vérifie sur le site d'épicurious:
Image(filename="images/roasted_almond.png")
Il s'agit donc bien d'une recette de biscuit de type "cookie". Notre prochain travail serait donc de séparer les quantités et les ingrédients de la colonne "ingredients" afin de pouvoir exploiter ces données numériques et les afficher dans des graphiques afin de r